Peter Komorovský sa zúčastňoval aj bojov proti kráľovi Matejovi Hunyadymu. Kráľ ho však napokon prinútil opustiť Oravu. Matej Hunyady- Korvín takto sám prevzal roku 1474 Oravský zámok do vlastných rúk, ale čoskoro ho daroval svojmu nevlastnému synovi Jánovi. Zásluhou Ferdinanda Habsburského prešiel Oravský zámok do majetku Jána z Dubovej, ktorý v rokoch 1540-1545 vykonal na ňom viaceré úpravy. Stavebný rozkvet zažil zámok až v časoch, keď ho mali v rukách Thurzovci, a to František a po ňom jeho syn Juraj. Po Jurajovej smrti správu hradu a Oravy mal prevziať syn Imrich, ale z panstva na Orave sa dlho netešil, lebo zomrel v mladom veku. Hrad a celú stolicu spravovala potom Jurajova manželka Alžbeta, rodená Czoborová.

Bohato rozvetvená rodina Thurzovcov sa po roku 1626 rozhodla založiť komposesorát. Prvým správcom bol Gašpar Illésházy, za ktorého sa na Orave uskutočňovalo silné protireformačné hnutie. Toto hnutie vyústilo napokon v otvorený boj, ktorý stál oravské obyvateľstvo mnoho nezmyselných obetí.

V roku 1672 zachvátila Oravu všeobecná nespokojnosť, ktorá sa napokon premenila na odpor poddaných na čele s Gašparom Pikom. Povstanie podporoval aj hradný kapitán Abaffy. Cisárske vojská však odboj proti vládnúcej moci krvavo potlačili. Vojenský tvrdý režim trval potom na Oravskom zámku až do roku 1678. Iba po tomto šesťročnom pobyte na zámku ho cisárske vojská odovzdali Imrichovi Thökölymu.
Okrem Illésházyovcov a Thökölyovcov mali zámok v rukách ešte Erdödyovci, Eszterházyovci a Zichyovci. Ale v 18.storočí Oravský zámok celkom stratil obranný a administratívny význam, lebo sídlom oravského komposesorátu sa stala budova pod Oravským zámkom nazvaná prefektúra. Zámku čochvíľa začala hroziť úplná skaza. Nie však od nepriateľov, ale od požiaru v roku 1800, ktorý znivočil na ňom, čo sa len dalo. Ani najväčší a najsilnejší nepriatelia nepoškodili toto panské sídlo v takom rozsahu ako nežiadúci prírodný živel. Zámok by bol naisto spustol, keby ho neboli dali majitelia hneď opraviť. Veľkú zásluhu na oprave majú najmä Zichyovci.

Skalisko, na ktorom stojí Oravský zámok i jeho terajšie múry a celý objekt, je prírodnou i stavebnou nezvyčajnosťou. Akýkoľvek návštevník, čo si zastal pod nebezpečne nahnutým bralom, nemôže sa ubrániť silnému zážitku, ktorý poskytuje pohľad na tento hrad. Koľko ráz sa o ňom už povedalo, že je to zámok, aký má byť, a keby sa nebol zachoval v tejto podobe, nemali by sme ani predstavu o stredovekých zámkoch, po ktorých na Slovensku ostali iba ošarpané pustnúce múry a smutné zrúcaniny.

Hradní páni si Oravský zámok stavali najmä na obranné ciele. Nevdojak sa však natíska myšlienka, že tu nakoniec dôstojne rozhodol estetický zreteľ. Pravá architektonická krása prevládla pri jeho konečnom dobudovaní na celej čiare a zároveň doplnila svojou odvážnou výstavbou zámockých budov, bášt i obytných miestností aj nezvyčajnosťou prírodnej scenérie tohto pozoruhodného zátišia Oravy. A vari preto dnes už ani nemožno jednoznačne odhadnúť, z ktorej strany je zámok najkrajší a odkiaľ najviac priťahuje oko pozorovateľa. Pri pohľade naň prichodí nám uveriť povesti, že sa Turci, jedni z najúhlavnejších nepriateľov slovenských zámkov práve pre túto krásu neodvážili ho dobíjať alebo nebodaj aj zrútiť.