Zámok však svedčí aj o tom, na čo našli dávni predkovia, najstarší obyvatelia Oravy veľmi neradi spomínali. Toto stavisko na ozrutnej skale je smutným pamätníkom niekdajšieho utrpenia, miestom, kde sa potomkom lial ľudský pot a kde vznikali tvrdé mozole a v časoch jeho zrodu i pri konečnom dostavaní.

Celé stáročia oravskí ľudia lámali kameň na tento zámok, prinášali i privážali ho tam neraz z veľkej vzdialenosti na vozoch, mordovali sa s ním do úmoru. Zhŕňal a odvážal sa naň piesok, pálilo sa nezmerané i nezmerateľné množstvo vápna, miešala sa deň- noc malta a vzdychalo sa pri neľudskej práci. Na krytinu, lešenie a vnútorné zariadenie sa rúbalo a zvážalo drevo, pílili sa dosky, kresali sa tragáre a naštiepala sa i napahovala priam hora šindľov. Aj železo sa kulo na závesy, klince, skoby, uzávery, zámky a kľúče i najvšakovakejšie okenice. Oravský zámok bol ako moloch, netvor, strašná obluda, najrozličnejšie kovy i zdravie ľudí a veľmi často aj životy. Zámok je názorným príkladom, že krásu, miesto pôžitku, hojnosti a blahobytu treba draho zaplatiť, priam vykúpiť tými najcennejšími hodnotami: zdravím i ľudskými životmi.
A predsa je aj šťastím, že sa tento svedok, pamätník dávnej minulosti zachoval až do dnešných čias. Ako faraóni na brehoch Nílu zanechali po sebe svedectvá svojej ctižiadosti, aj v strede Oravy ostali v podobe tohto zámku výsledky práce oravských rúk. A tie sa zachovali a vďaka starostlivosti nášho zriadenia udržujú sa aj pre budúce časy. Najvýraznejšie to však dokazujú opravy na tomto objekte v ostatných rokoch.
Dejiny Oravského zámku sú dejinami oravského ľudu, otrasným dokladom nesmierneho utrpenia i nadľudskej práce, no aj neklamným svedectvom jeho nadania a tvorivej fantázie. Je to stavisko, ktoré si celkom právom oravský ľud zahaľoval do tajomného romantického odevu a pri pohľade naň oddával sa všelijakému sneniu, v hmle sa rozplývajúcej minulosti všetky korene, obrazy a údaje o tom, čo bolo na zámku skutkom a čo sa čudujeme, že sa právom na tento objekt sústreďuje aj najväčší počet povestí a najrozličnejších rozprávaní, ktoré sa viažu takmer na všetky časové obdobia.