Hollywood však nebol pripravený na nikoho jeho formátu. Drsnému a ostrieľanému Austrálčanovi napriek mladému veku nechýbalo sebavedomie a rozhodne sa nemienil dať nikým a ničím obmedzovať. Errol Flynn sa v ére jemných a elegantných hrdinov správal ako prvotriedny hulvát - neodopieral si nijaké radosti života, pil, čo mu hrdio ráčilo, fajčil 40 cigariet denne, bil sa po krčmách a netajil sa množstvo mileniek. Za rok toho o ňom hollywoodsky bulvár popísal viac ako o ostatných hviezdach za pať rokov. čo však bolo neuveriteľné - ani za mak to neuškodilo jeho kariére. Bol ideálny predstaviteľom neohrozených a neporaziteľných hrdinov v kostýmových veľkofilmoch, ktoré boli v tých časoch nesmierne populárne, ako napríklad Útok ľahkej kavalérie, Princ a žobrák, Robin Hood, Súkromný život Alžbety a Essexa či Siedma kavaléria. Lenže aj naňho raz muselo prijsť. Najčernejším rokom jeho života bol rok 1942. Najskôr ho pre prekonanú maláriu a čiastočnú tuberkulózu odmietli vziať do armády, čím veľmi utrpelo jeho ego. Ľudia si totiž začali šepkať, že napriek hrdinským pózam na filmovom plátne je v skutočnosti veľký zbabelec. A potom ho dve dievčatá obvinili z pokusu o znásilnenie. To už bolo priveľa aj na verejnosť, ktorá mala pochopenie pre jeho povesť Casanovu. Prakticky zo dňa na deň zo slávneho herca stal opovrhovaný outsider.
Navyše sa s ním po siedmich rokoch manželstva rozviedia Lili Damita, s ktorou mal syna Seana. Zo zúfalstva začal Errol experimentovať s drogami od ktorých sa stal veľmi rýchlo závislým. Okrem toho čoraz väčšmi holdoval alkoholu. Keď mu režiséri zakázali nosiť si na pľac alkohol injekčnou striekačkou nastriekal vodku do pomarančov. A jeho hereckí kolegovia nevedeli pochopiť, prečo sa zrazu živí len týmto južným ovocím. Filmových úloh však ubúdalo a všetky životné nepríjemnosti sa čoraz väčšmi odrážali na jeho hereckých výkonoch i plate. Aj to bol dôvod, prečo ho po necelých piatich rokoch opustila aj druhá žena Nora Eddingtonova, ktorá mu porodila dve dcéry Deirdre a Rory. Nahnevaný a zúfalý Errol sa napokon v roku 1952 rozhodol nevďačný Holywood opustiť a vrátiť sa tam, kde začal - do Anglicka. "V Holtywoode majú veľkú úctu k mŕtvym, ale nijakú k živým," vyjadril sa s trpkosťou v hlase pre anglické noviny.
Lenže ani v Anglicku nedosiahol svoju niekdajšiu slávu. Roky nezriadeného hedonistického života sa totiž prejavili aj na jeho predtým peknej tvári. Vo svojich posledných filmoch hrával už len alkoholikov.