Územie na sútoku Hrona a Slatiny, kde dnes stojí mesto Zvolen, bolo osídlené už v mladšej doby kamennej a archeologické nálezy svedčia o tom, že od tých čias tu ľudia žijú nepretržite až dodnes. Predkovia Zvolenčanov najprv žili v rozptýlených osadách na pahorkoch a terasách v záplavovej oblasti oboch riek, pretože tu boli najlepšie podmienky pre poľnohospodársky spôsob života. Až v stredoveku, v súvislosti s rozvojom obchodu, sa osídlenie zjednocuje a pri brode, kadiaľ prechádzala Via magna – Veľká cesta – z Budína do Poľska, vzniká trhová osada. Okolo nej a priľahlého pahorku (na ktorom dnes stojí zámok) sa neskôr sformovalo novoveké mesto.

Meno Zvolen sa zjavuje v historických prameňoch dosť neskoro, až na konci XII. storočia, a to súčasne s legendou, ktorá vysvetľuje jeho pôvod. Notár uhorského kráľa, pravdepodobne Bélu III. (1172-1196), ktorý vo svojej histórií Uhorska nenaznačil svoje meno a preto sa mu hovorí Anonymus(neznámy), pripisuje založenie Zvolena jednému z Arpádových druhov, ktorí priviedli Maďarov do Potisia roku 906. Nazýva ho Barsu a rozpráva o ňom, že po založení hradu Tekova nad riekou Hron (dnešný cintorín na vyvýšenine Várhegy pri starom Tekove, po maďarsky Bárs), sa dostal pri prenasledovaní jeleňa až do Zvolenského lesa a tam založil z kameňa a dreva opevnenie, aby Česi a Poliaci, chtiví koristi, nemohli tadiaľ preniknúť do krajiny a ohrozovať ju.

Roku 1232 sa síce ešte hovorí o Zvolene len ako o území, ale už roku 1244 kráľ Béla IV. Potvrzuje obci niektoré výsady, ba vyníma ju aj z právomoci zvolenského župana. Ako mesto vystupuje však Zvolen po prvý raz až roku 1326.

V stredoveku boli menom Zvolen označované tri hrady. Zrúcaniny dvoch sú dnes ukryté v lese na vysokom hrebeni nad sútokom Hrona a Slatiny, tretí stojí v meste na návrší nad riečkou Slatinou. Staršie dva hrady zanikli už na sklonku stredoveku a dnes sa uvádzajú pod spoločným menom pustý hrad.

Väčší z obidvoch hradov, ktorého zrúcaniny zaujímajú najvyššie miesto hrebeňa, má neobvykle veľkú rozlohu. Jeho vonkajšie ohradenie je dlhé vyše 800m a široké asi 200m. Okrem zvyšku ohradného múru stojí doteraz vstupná brána, ktorú možno datovať podľa zachovalého ostenia približne do tretiny XIII. Storočia.

Druhý hrad, ktorého zrúcaniny ležia o niečo nižšie, je omnoho menší, a pretože sa tu nezachovali architektonické detaily, môžeme ho datovať jedine podľa stavebného typu. Ak súdime podľa jeho pôdorysného usporiadania, bol postavený asi na začiatku XIV. Storočia.

Tretí hrad stojí v meste a postavil ho kráľ Ľudovít Veľký v rokoch 1370-1380. O stavbe hradu nemáme veľa priamych správ, vieme len, že sa tu kráľ zdržiaval veľmi rád, lebo zvolenský les bol už oddávna obľúbeným loviskom.

Tento nový hrad je z hľadiska stavebného typu niečo tak celkom odlišného a ojedinelého, že vlastne s pojmom starého feudálneho hradu nemá vôbec nič spoločné. Bežný stredoveký hrad tejto doby nebýva takmer nikdy v meste a ak už je v jeho blízkosti, je vždy na takom mieste, ktoré mu umožňuje samo o sebe dostatočnú obranu. Inou typickou zložkou každého stredovekého hradu, po ktorej na Zvolenskom zámku niet ani stopy, je veľká veža, ktorá ovláda každý hrad a je ťažiskom jeho obrany.

Tento stavebný typ nemá ani v iných krajinách strednej Európy v XIV. Storočí obdoby. Pravidelnosťou svojho stavebného rozvrhu, v ktorom sa jednotlivé obytné krídla zoskupujú okolo stredného nádvoria, je Zvolenský zámok typickým kastelom, aké sa v tom čase stavajú najmä vo Francúzsku a Taliansku. Francúzsky vplyv však treba už vopred vylúčiť, lebo francúzsky kaštieľ a jeho prostredníctvom aj anglický má takmer bez výnimky okrúhle nárožné veže. Jeho príbuznosť s talianskym kastelom je ešte väčšia, lebo miesto dvoch má na nárožiach štyri hranolové veže. Pretože Ľudovít Veľký pochádzal z neapolskej vetvy francúzskych Anjouovcov a príbuzenské zväzky medzi obidvomi rodinami sa stále obnovovali, je pravdepodobné, že si pre Zvolenský zámok priniesol z Talianska ak nie priamo predlohu, tak aspoň popud.

Dobu vzniku hradu prezrádzajú dosiaľ dobre zachované rebrové klenby v prízemných sálach, portály, kaplnky, ako i tvar a priečelie okien.

Hrad pravdepodobne pôvodne nebol opevnený. Bol založený ako pravidelný obdĺžnik (45x 61,5m), ktorého štyri obytné krídla uzatvárajú vo vnútri pravouhlé nádvorie.

Hlavný vstup do zámku bol tam, kde je teraz, teda na strane, obrátenej k mestu. Vedie zvonka podjazdom v prízemí severného krídla priamo do vnútorného nádvoria zámku. Valenú klenbu podjazdu nesú po oboch stranách kamenné rímsy, ktoré sa na konci podjazdu lomia a zbiehajú zvisle dolu. Pod rímsou je rad kamenných hrotových oblúčikov, do ktorých sú vložené trojlístky. Dnes sú oblúčiky dolu konzolovite podseknuté, ale toto ukončenie s diamantovým rezom bolo prevedené dodatočne. Pôvodné ukončenie oblúčikov zostalo po tejto úprave iba na konci v podjazde. Pod oblúčikmi a rímsou sú pozdĺž celého postranného múru kamenné lavice, takzvané sedílie, ktoré celý podjazd po oboch stranách rozširujú.

Vedľa vjazdu je veľká sieň. Bola to jediná honosnejšia miestnosť v prízemí celého zámku. Doteraz sa do nej chodí pôvodným gotickým portálikom z nádvoria. Dnu mala dvorana šesť polí krížových klenieb. Jednotlivé polia klenby sú oddelené pasmi (pozdĺžne pasy sú polkruhové, priečne končité), ktoré, podobne ako klenbové rebrá, zabiehajú v pätkách priamo do múru. Na severnú vonkajšiu stranu sa sieň otvárala troma úzkymi okienkami, takže by bola veľmi zle osvetlená, keby nebolo dvoch väčších okien, ktoré sieň osvetľujú z nádvoria. Okná majú v ostení ešte gotické sedadlá a pôvodné gotické delenie. Na prvom poschodí tohto krídla bola hlavná slávnostná sála s veľkými trojdielnymi oknami, obrátenými k mestu, z ktorých doteraz vidieť zvyšky ostenia v severnom priečelí.

Najdôležitejšou miestnosťou vo východnom krídle zámku bola iste pôvodná kaplnka. Matej Bél, ktorý ju poznal ešte skôr ako je prestavali do dnešnej podoby, o nej píše, že vtedy mala dve poschodia, navzájom spojené otvorom v podlahe. Nebol to teda jeden vysoký priestor ako dnes, ale boli tu dve kaplnky nad sebou: dolná, v ktorej sa slúžili omše pre čeľaď a služobníctvo, a horná, určená pre kráľa a členov jeho dvora. Z oboch zostali len časti obvodných múrov a na západnej strane bohato členené portály, ktorými sa vchádzalo priamo z nádvoria. Portál hornej kaplnky je dne čiastočne zamurovaný, lebo ho premenili v XVIII. Storočí na okno, takže svoj pôvodný účel si zachoval iba portál do kaplnky v prízemí. Po oboch stranách jeho vstupných dverí sa vzpínajú nahor z jednotlivého sokla štíhle kamenné prúty oblých a hruškových tvarov, aby uzavreli vo vrchole vznosný gotický oblúk toľkokrát opakovaný, koľko prútov ostením prebieha. Po bokoch portálu zostali ešte štíhle a dobre členené prípory, z ktorých vybiehali pôvodne priečne pasy a rebrá krížovej klenby niekdajšej predsiene nad kaplnkou. Výbehy rebier po bokoch ešte dobre vidno. Prístup do kaplnky bol teda zvonku chránený osobitnou predsieňkou, otvorenou do dvora lomenými pasmi a hore uzavretou rebrovou krížovou klenbou.

V západnom krídle, medzi niekdajšími vežami, sú dosiaľ zachované pôvodné gotické portály. Viedli do arkády, ktorá na tejto strane uzatvárala nádvorie a z ktorej vedú schodištia do hlbokých pivníc po západným a južným krídlom. Gotická arkáda sa otvára do nádvoria štyrmi polkruhovými pasmi, ktoré spočívajú na mohutných hranolových pilieroch. Dnes je časť arkády dodatočne zamurovaná neskorším prístavkom. Vnútri má štyri polia krížovej rebrovej klenby rovnakého tvaru a profilu ako vo vežných komorách. Jednotlivé polia klenby oddeľujú široké pasy, ktoré na jednej strane vybiehajú z pilierov, na strane druhej dosadajú na konzoly. Z dvoch veľkých sál, ktoré zaberali celú šírku západného krídla sa zachovala aspoň jedna v pôvodných rozmeroch, i keď vnútri barokne prestavaná.

V severozápadnom a juhozápadnom nároží sú zvyšky veží, ktorých prízemné komory majú doteraz, tak ako aj arkáda, pôvodné gotické rebrové klenby. Oveľa lepšie ako severozápadná veža prekonala neskoršiu prestavbu veža juhozápadná. Má doteraz aj svoje pôvodné schodište- i keď sčasti zamurované- v šírke južného múru, ktoré viedlo z prvého poschodia hore. Z predsieňky schodištia sa kedysi chodievalo úzkou chodbičkou v šírke južného múru do arkieru, ktorý v sebe skrýval záchod, takzvaný prevet. Aj južné krídlo zámku malo v prvom poschodí len asi tri siene. Jednu z nich na západnej strane v neskorogotickej dobe prestavali a v novšej dobe ju porušili tým, že v prízemí do nej vbudovali drevené schodište. Medzi ňou a veľkou rohovou miestnosťou na juhovýchodnej strane bývali ešte dve rovnaké siene, z ktorých jedna mala v stene, obrátenej do nádvoria, veľký kozub, po ktorom doteraz zostal výklenok, čiastočne zamurovaný neskoršou stenou.