Miestnosti múzea, ktoré sú dodnes na mieste siení, majú dosiaľ pod prízemnými nosnými trámcami, spočívajúcimi na nosníkoch pri múroch položených, kamenné konzoly a čiastočne aj stredný prievlak, takže majú tú istú konštrukciu ako mali povaly gotické.

Všetky priečelia zámku, okrem severného, obráteného k mestu, majú doteraz pôvodné gotické okná, len čiastočne poškodené neskoršími úpravami.

Hrad, alebo zámok, mal v XIV. storočí len prízemie a jedno poschodie. Cez sedlové strechy jednotlivých krídel prečnievala pôvodne len kaplnka, ktorá bola vyššia, a dve nárožné veže v západnom krídle.

Ak si prízemie zámku uchovalo svoje gotické rozdelenie takmer bez zmeny až doteraz, je prvé poschodie vo svojom pôdorysnom rozvrhu neskoršími úpravami úplne zmenené. Najmä severné krídlo zámku, obrátené k mestu, má dnes celkom iné vnútorné delenie, ako malo v dobe svojho vzniku. V severovýchodnom nároží bola štvorcová sieň so stredným stĺpom ako v prízemí, len miesto malých okien mala na poschodí štyri veľké okná s vnútornými kamennými krížmi, aké sú dosiaľ v ostatných priečeliach zámku. Strednú časť celého severného krídla zaujímala iste jedna veľká dvorana, obrátená k mestu piatimi veľkými oknami so strednou časťou o niečo vyššou ako postranné, rozdelenými vnútornými dvomi zvislými a jedným vodorovným prútom. Pôvodný vstup bol pravdepodobne na východnej strane, vedľa kaplnky, z pavlače.

Od roku 1424 bol osud Zvolenského zámku spätý s osudom banských miest, pretože bol jednou z pevností, ktoré chránili prístup z Uhorských nížin do Slovenského stredohoria. Preto jeho opevnenie je len súčiastkou veľkých opevňovacích prác, vykonaných v banských mestách. Toto opevnenie bolo pravdepodobne drevené, lebo pri neskorších prestavbách úplne zaniklo. O existencii tohto opevnenia nás presvedčí aj fakt, že zámok bol obliehaný roku 1451 Janom Huňadym po vypálení mesta. V tomto období (od roku 1439-1462) žil na hrade Ján Jiskra z Brandýsa, až kým po zmierení sa so synom Huňadyho- kráľom Matejom, hrad i banské mestá odstúpil kráľovi za iné majetky v Uhorsku. Po smrti kráľa Mateja r. 1490 pripadol hrad i ostatné majetky jeho vdove kráľovnej Beatrici, ktorá dala hrad, v čase zmätkov a bojov o trón, nanovo opevniť. Toto opevnenie pozostávalo z brány, hradieb a štyroch okrúhlych veží, postavených v rokoch 1490-1510, ktoré stoja až dodnes. Súčasne s vonkajším opevnením boli čiastočne prestavané i siene južného zámockého krídla, ako svedčia tri neskorogotické pretínajúce sa portály. Boli spojené podklenutou pavlačou na bohato rezaných krakorcoch a predsieňou kaplnky na prvom poschodí. Na portáloch a vonkajšom priečelí, hlavne severnom, doteraz vidieť zvyšky červeného kvádrovania a na červeno namaľované rámy okolo okien.

Keď po dobití Budína začali Turci ohrozovať Juhoslovenskú kotlinu a Zvolen, vábení bohatstvom banských miest, bolo treba prikročiť k zdokonaleniu a zlepšeniu jeho doterajšieho opevnenia a k prestavbe staršieho zámku. Po znížení striech a odbúraní nárožných veží, bol celý zámok na vonkajšej strane zvýšený o dve poschodia a na strane do nádvoria o jedno poschodie. Pritom zmizla pultová strecha, zvažujúca sa do nádvoria, za renesančnou oblúkovou atikou, ktorej horizontálne línie prerušovali jedine okrúhle arkýrové vežičky na nárožiach. Celé podkrovie sa zmenilo v strelecké batérie s dvomi poschodiami strieľní nad sebou, pričom nárožné arkýre slúžili ako strážnice a pozorovateľne.

Vnútro zámku sa veľmi zmenilo, len neskorogotická pavlač bola na ostatných stranách (západnej a severnej) doplnená renesančnou arkádou, takže okružná komunikácia okolo nádvoria bola úplne súvislá. Na prvom poschodí bola pravdepodobne, tak ako dnes, drevená krytá chodba.

Hoci hlavným účelom tejto prestavby bolo posilnenie obrany zámku, nezabudlo sa pri tom ani na stránku výtvarnú. Nové horné poschodie bolo pokryté drobným sgrafitom, klenba podjazdu bola vymaľovaná a v arkáde severného traktu doteraz na prvom poschodí vidieť dvojhlavého cisárskeho orla. Bol namaľovaný asi v dobe, keď bola neďaleko vsadená kamenná doska s vyrytým letopočtom 1548.

Po zosilnení vonkajšieho opevnenia dostala vstupná brána a veže zvláštne silné cimburie pre delostreľbu, ktoré dnes ostalo v pôvodnej podobe len na juhovýchodnej nárožnej veži. Starší ohradný múr mala nahradiť nová hradba so slepými arkádami, nesúcimi na poschodí širokú drevenú pavlač.

Zvolenský zámok začína strácať svoj význam od počiatku XVII: storočia, keď poklesla ťažba v banských mestách. Na konci XVI. Storočia bol ešte postavený, na západ od zámku, veľký moderný bastión. Súčasne sa začalo opevňovať i mesto. Tieto opevnenia boli tu poslednými väčšími fortifikačnými prácami. Po spustošení dolov za Bocskayovho a Bethlenovho povstania stratili banské mestá príťažlivosť a Zvolen svoj význam. Na začiatku XVII: storočia sa táto ešte významná kráľovská pevnosť dostáva do súkromných rúk, a to najprv ako záloha Dersfyovcom a potom ako nájom katolíckej a Habsburgovcom oddanej rodine Eszterházy. Zámok zostáva sídlom župy až do roku 1785, keď Jozef II. Zrušil komitátne zriadenie. Po jeho obnovení sa župné úrady presťahovali do Banskej Bystrice a Zvolenský zámok sa stal už len hospodárskym centrom veľkých Eszterházyovských majetkov na okolí.

Zmena pôvodného účelu a zmyslu hradu si vyžiadala niektoré stavebné úpravy, ktoré však už doterajší vzhľad hradu nijak neobohatili. Okolo polovice XVII. storočia boli veľké sály v severnom krídle prestavané na kancelárske miestnosti, ktorých nové okná a lunetové klenby úplne zničili staré gotické priečelie, obrátené k mestu. V druhej polovici XVIII. Storočia boli zničené i dve gotické kaplnky vo východnom krídle. Na ich miesto bola pristavená dnešná kaplnka s novým presbytériom, rozšíreným do parkanu, v podzemí s veľkou kryptou. Kaplnka, dostavaná roku 1784, bola pravdepodobne dielom toho istého majstra ako súčasná prestavba farského kostola v Banskej Bystrici prevedená okolo roku 1776, keď sa mesto stalo sídlom biskupstva.

Súčasne so stavbou kaplnky bolo rozšírené severné krídlo zámku na východe o nové miestnosti a spojené podjazdom so starším domkom pri bráne. V západnej časti parkanu vznikli nové úradovne nad novo preklenutým podjazdom pri severnej nárožnej bašte. Jedinou zaujímavejšou pamiatkou, ktorá ostala z barokovej prestavby zámku, je drevená povala s obrazmi rímskych cisárov v jednej zo sál západného krídla. Tieto maľované obrazy majú skôr hodnotu historickú než umeleckú, a to nielen svojím obsahom a námetom, ale i pre zaujímavé a niekedy žartovné texty, ktoré sprevádzajú jednotlivé obrazy. Galéria, maľovaná v prvej polovici XVIII. Storočia (asi r. 1712 podľa letopočtu na obraze posledného cisára Karola VI.), bola pravdepodobne sem prenesená, lebo niektoré obrazy bolo nutné pre rozmery povaly násilne rozrezať.

V roku 1805 Eszterházyovci predali panstvo nazad korune a cez celé XIX. Storočie boli prázdne miestnosti zámku používané na najrôznejšie účely, ako kasárne, skladištia a pod., takže stavebne stále viac a viac pustol. Až po prevrate roku 1918, keď sa stal sídlom župy, dúfalo sa v jeho záchranu. V rokoch 1924-1925 vypracoval architekt Dušan Jurkovič návrh na jeho prestavbu, mesto postavilo vlastným nákladom okolo zámku lešenie, ale kým sa prekonali rozpory v názoroch, bolo župné zriadenie roku 1928 zrušené a prestavba hradu sa stala bezpredmetnou.

Až po oslobodení (po skončení druhej svetovej vojny), keď sa Zvolenský zámok stal národným kultúrnym majetkom, sa začína znova pomýšľať na jeho opravu, pravda, v celkom inakšom zmysle ako za prvej republiky. Bola pokrytá strecha a do prázdnych spustnutých sál sa nasťahovalo múzeum.

Dnes je zámok Národnou kultúrnou pamiatkou a sídli tu Slovenská národná galéria. Na renesančnom nádvorí sa každoročne v júni koná jediný slovenský divadelný festival pod holým nebom – Zámocké hry zvolenské.