Pôvodne tu bol menší hrad (obytná veža s dvorcom) postavený v 13. Storočí, patriaci nitrianskemu biskupstvu. V roku 1563 sa zmocnil Bytčianskeho panstva spolu s hradom František Thurzo, člen významnej podnikateľskej rodiny (podnikali v ťažbe a výrobe medi), ktorý v rokoch 1571- 74 vybudoval na mieste starého gotického hradu nový kaštieľ - opevnený areál s viacerými funkčnými stavbami. Vzhľad starého hradu s obytnou vežou v opevnení poznáme z historických rytín. Stavbou renesančného kaštieľa poveril František Thurzo talianskeho majstra Kiliána z Milána (jeho postava je zvečnená na freske v prízemí na kruhovom schodišti). V otcovej činnosti pokračoval syn Juraj, ktorý za aktívnu účasť v boji proti Turkom získal popredné miesto na cisárskom dvore. Ako uhorský palatín dal 1601 vybudovať tzv. Sobášny palác, priestrannú budovu v predhradí, venovanú slávnostným rodinným príležitostiam, najmä svadobným hostinám svojich šiestich dcér. Do dejín kaštieľa sa v období renesancie zapísal aj ďalší taliansky majster, A. Pocabello, ktorý opravil kaštieľ a Sobášny palác po ničivom vpáde hajdúskych vojsk 1605 -1612. Pri týchto úpravách postavili aj arkádu v nádvorí ústrednej budovy, ktorou prekryli staré fresky z obdobia vzniku kaštieľa. Po vymretí Thurzovcov, ktorí zriadili v Bytči knižnicu a mali tu aj klenotnicu so zbierkou vzácnych gobelínov, zmenili sa osudy bytčianskeho kaštieľa. Kaštieľ sa 1624 dostal do rúk Eszterházyovcov, ktorí vlastnili Bytču až do polovice 19.storočia. Protireformačne naladení Eszterházyovci využívali kaštieľ skôr na hosp. účely; jeho vzhľad obohatili len 1736 cyklom postáv v arkáde - fresky znázorňujú v nadživotnej veľkosti uhorských a európskych panovníkov a známych vojvodcov i hrdinov z antickej mytológie. R. 1862. panstvo s majetkom odkúpila obchodnícka rodina Popperovcov, ktorá uskutočnila nevhodné úpravy: vlastný kaštieľ prebudovala na byty, Sobášny palác na okresný súd. Tzv. klasicistickú budovu, ktorá vznikla okolo 1830 prestavbou renesančnej budovy, funkčne pričlenili k okresnému súdu a slúžila aj účelom obce.