Po získaní majetku sa odsťahoval z domu a začal žiť dandyovským životom. V tomto období sa pripútal k mulatke Jeanne Duvalovej, ktorá ho vedela dokonale využívať až do konca jeho smrti. Jeanne Duvalová bola obyčajnou divadelnou štatistkou, ženou vydržiavanou, no neskôr už iba prostitútkou prepadajúcou alkoholu. Za dva roky sa Charlesovi podarilo utratiť polovicu peňazí, a tak ho matka vyhlásila za finančne nesvojprávneho a rodinná rada mu vnútila rodinného notára Ancella, ktorý mu mesačne vyplácal menšie sumy. Odvtedy nastali pre Baudelaira horšie časy. Bol koniec s elegantným dandyovstvom, bol nútený žiť v skromných pomeroch. A tak sa snažil zarobiť nejaké peniaze výtvarnými a literárnymi kritikami. V tomto období sa však priraďoval do skupiny umelcov, kde všetci zvoľna prepadali ópiom a hašišu. Schádzali sa, len aby sa mohli oddávať drogám. Celé toto obdobie bolo blúdením v umelých rajoch. A práve tu môžeme začať hovoriť o počiatkoch jeho návyku k drogám, z ktorého sa nikdy naozaj nevymanil. A vďaka týmto pokusom o zmyslovú extázu dosahovanú drogami, snívaní a poéziou, vyrástol trs najkrajšej francúzskej poézie 19. stor. V tomto období bol na tom veľmi zle a po neúspešnom pokuse o samovraždu sa nasťahoval k matke a otčimovi. Zakrátko však medzi nimi vypukli nové nezhody, a tak Baudelaire odchádza do hotela Dunkerque. Ešte v októbri toho istého roku vyšiel oznam, že čoskoro uzrú svetlo sveta Baudelairove Lesbičky, čo je prvý názov Kvetov zla. Tento začínajúci básnik sa však aj naďalej živil písaním kritík, ktoré vydával v rôznych časopisoch. Keď objavil diela amerického básnika E. A. Poea, okamžite začal tieto diela prekladať. V decembri 1847 ochorel a býval u Jeanne Duvalovej. Počas revolúcie v roku 1848 sa dal na čas strhnúť udalosťami (v jeden večer ho istý Jules Buisson videl ako zviera v ruke pušku a kričí Treba zastreliť generála Aupicka!), dokonca bol aj spoluredaktorom a prispievateľom efemérnych republikánskych listov.
Od politického novinárstva sa však opäť rýchlo vrátil k literatúre a kritike. V tomto období však vydával len kratšie básne uverejňované v rôznych časopisoch. Taktiež aj naďalej publikoval preklady Poeovych diel. Popri vydaní ďalších Poeovich diel sa rozhodol napísať hru Opilec, ktorá zostala nedokončená.
Finančne bol však na tom veľmi zle a v priebehu mesiaca sa musel šesťkrát sťahovať V júni roku 1855 vydal 18 básní pod názvom Kvety zla.
Veľké zmeny priniesol Baudelairovi rok 1857. 24.4. mu umrel otčim – senátor generál Aupick. Druhou veľkou udalosťou bolo vydanie zbierky básní Kvety zla.