Druhé valné zhromaždenie sa konalo v roku 1864 za účasti vyše 400 členov. Budova matičného domu ešte nebola dohotovená. Počas roka príjmy MS vzrástli. Matica získavala podporu širokej verejnosti, prejavovala sa najmä vo finančných zbierkach, darovaní kníh, múzejných predmetoch a pod. Rozhýbala sa aj vydavateľská činnosť. V tlači bola Čítanka, 1. zv. Letopisu matice slovenskej a Rozhovory o Matici slovenskej. Vyšli druhý diel Hattalovej Mluvnice, Myšlienky o záhradníctve, druhý diel Slovenskej čítanky. Valné zhromaždenie sa roku 1865 po prvýkrát konalo v novopostavenej budove mestského domu v Národnej svetlici.

Štvrté matičné valné zhromaždenie roku 1866 sa konalo krátko po prehratej vojne s Pruskom. Viedol ho druhý podpredseda Ján Országh, ktorý vysoko vyzdvihol význam a veľkosť Karola Kuzmányho. Z matičnej činnosti treba pripomenúť snahu o vydanie mapy Hornouhorska, ktorú pripravoval Dionýz Štúr. No mapa po rakúsko-uhorskom vyrovnaní nevyšla. Bol novozvolený prvý podpredseda Viliam Pauliny-Tóth. Matica pôsobila v Martine, kde účinkovali viaceré kultúrne spolky – Živena, Kníhtlačiarsko-účastinársky spolok, Slovenský spevokol, martinské gymnázium, Slovenská národný strana, redakcie časopisov a z nich najmä Národné noviny. Účinkovala aj v múzejníckej činnosti. Zbierky na otvorenie múzea Matica budovala od svojho vzniku. Po Moysesovej smrti volili jeho nástupcu. Zvolili Jozefa Kozáčka. Do politiky Matica nezasahuje a podľa stanov nemá ani právo, ani povinnosť strážiť politické zmýšľanie svojich členov.

Matičný dom

Na jeho výstavbe sa podieľalo skoro celé Slovensko. Plány vyhotovili viacerí stavitelia. Vybrali plán nitrianskeho staviteľa Karola Hörera a upravili ho podľa návrhu Jana Bobulu. Základový kameň kládli na zasadnutí v roku 1864. Matica mala svoju budovu, ale nebola jej vlastníctvom, bola vlastníctvom mesta, bol to „mestský dom“. V roku 1869 Matica odkúpila dom za 21 000 zlatých. Slováci sa dlho netešili zo svojej národnej svetlice. Ešte roku 1869 vláda do nej na dlhší čas umiestnila vojsko a roku 1875 Maticu násilne zatvorili. Matičnú budovu v rokoch 1899 – 1900 prestavali a umiestnili tam súd a iné úrady.