Mesto Humenné v minulosti patrilo medzi poddanské mestečká s prevažne chudobným obyvateľstvom, ktoré spravovali bohaté feudálne rodiny, čo sa odrazilo aj na architektúre mesta.
Podľa viacerých historikov je pravdepodobné, že v Humennom bol hrad už na prelome 13.-14. storočia ako predchodca dnešného kaštieľa. Bola to jednoduchá bloková stavba obohnaná vodnou priekopou, o čom svedčí aj náznak priekopy a padací most na južnej strane. Existujú dochované správy z 15.storočia, ako bolo mesto obsadené bratríckymi vojskami, mestskí páni Štefan a Bartolomej Drugethovci zajatí a roku 1450 vyslobodení za vysoké výkupné. Hrad dobyl až kráľ Matej Korvín a vrátil ho aj s príslušnými majetkami Drugethovcom.
Dnešný kaštieľ pochádza z neskorších rokov. V roku 1610 sa vtedajší humenský panovník Gabriel Drugeth stal uhorským palatínom. S takýmto titulom s rozšírenými právomocami a zodpovednosťou mu už vtedy trochu zastaralý hrad nemohol stačiť a začal ho prestavovať podľa vtedajších spoločenských požiadaviek. Dal vybudovať veľký štvorkrídlový objekt s ústredným dvorom a nárožnými vežami, ktorý spájal obytnú aj obrannú funkciu. Múr bol zakončený atikou, v horných častiach bol zdobený sgrafitami ( maľba vyrytá do omietky). Reprezentačné miestnosti boli obrátené do arkádového nádvoria, arkáda mala sgrafitové rámovanie. Vzácnou ukážkou renesančného umenia sú drevené vyrezávané a vykladané dvere v priechode, datované do roku 1612. Kaštieľ stavali približne 30 rokov.
V roku 1684 kaštieľ vyhorel. Po smrti posledného potomka Drugethovcov (Žigmunda) prechádza kaštieľ do rúk Wandernátovcov, Csákyovcov a neskôr Andrássyovcov. V priebehu 18.storočia bol viackrát upravovaný. Vo vonkajšej časti niekoľkokrát zmenili architektúru strechy, odstránili atiku, kaštieľ nakoniec zakryli lomenou šindľovou strechou s kupolami na postranných vežiach. Nový majiteľ Alexander Andrássy dal v okolí vybudovať pekný park. V druhej tretine 18.storočia upravili salu terrenu a priľahlé miestnosti iluzívnymi maľbami na plátenných poťahoch stien, ktoré sa na prízemí južného krídla doteraz zachovali. Je tu galéria uhorských kráľov, stropná iluzívna maľba znázorňujúca príchod cisárovnej Márie Terézie do mesta, v čínskom salóne sú žánrové scény s orientálnymi námetmi. Posledná veľká úprava bola uskutočnená koncom 19. a začiatkom 20.storočia. Kaštieľ prestavali podľa vtedajšieho pseudohistorického zámeru na spôsob francúzskych barokových kaštieľov.