Narodil sa 19. januára roku 1809 v Bostone. Matka Elizabeth rodená Arnoldová bola dobrá a chudobná herečka, otec David Poe jr. zasa zlý herec a alkoholik. Matka sa za tri týždne po pôrode vrátila na javisko, dva roky potom však zomrela v chudobe, opustená manželom. O malého Edgara sa starala pani Allanová, manželka bohatého podielnika vývoznej tabakovej spoločnosti z Richmondu. Allanovci nikdy chlapca oficiálne neadoptovali, dali mu však vzdelanie, ktoré by mu vlastní rodičia nikdy nemohli umožniť. 22. júna roku 1815 kvôli Allanovým záujmom celá rodina vypláva do Škótska a do Anglicka. Tam Edgar najskôr navštevoval internátnu školu v Londýne, ktorú viedla istá pani Dubourgová. Jej meno sa neskôr objavilo v poviedke Vraždy v ulici Morgue. Onedlho odišiel mladý Poe do školy v Stoke Newingtonu, kde podľa zachovaných záznamov vynikal vo francúzštine a latinčine. Okrem bežných predmetov sa učil aj tancovať. Budovu školy Poe veľmi podrobne opísal v poviedke William Wilson.
Roku 1820 sa Poe vrátil späť do Richmondu. Ďalej študoval francúzštinu a latinčinu. Pre svoj pochybný pôvod a nejasné spoločenské zaradenie neadoptovanej siroty sa nikdy nezžil s aristokratickými, kastovníckymi richmondskými spolužiakmi. Tak vznikol outsider. To isté sa opakovalo roku 1826, kedy Poe nastúpil na univerzitu v Charlottesville. Rotunda univerzity založenej Thomasom Jeffersonom pripomínala pantheon. Obklopený touto architektúrou hral Poe karty a namiesto Drydena, Congreva a Addisona čítal Byrona. Scény zo študentského života v už zmienenej poviedke William Wilson sa zakladajú na Poeových univerzitných skúsenostiach. Exotickou krajinu v poviedke Príbeh zo Skalnatých hôr odpozoroval Poe na svojich prechádzkach v okolí Charlottesvillu.
26. mája 1827 vstúpil Poe do armády Spojených štátov pod falošným menom E.A. Perry. Vojak Perry chodil po Sullivanovom ostrove, prezeral si trosky Fort Moultrie a čuchal k vonným myrtám, ktoré tam doposiaľ rastú. Podľa dohadov a domnienok chudobný vojak Perry na svojich prechádzkach sníval o veľkej hromade zlatých mincí. Tak vznikol Zlatý Chrobák. Toho istého roku vydal Poe anonymne zbierku básní Tamerlán a iné básne, čoskoro potom vyšla knižka Al Aaraaf, Tamerlán a menšie básne a po dočasnom zmierení s pánom Allanom vstúpil opäť do armády. Vo vojenskej akadémii vo West Pointe bolo kadetom zakázané prechovávať na izbe romány či básne, ktoré sa nevzťahovali k vojenskému štúdiu a tiež bolo zakázané hrať dámu, fajčiť a piť.