Mladosť a vysoká škola
Einstein sa narodil v Ulme, asi 100 km východne od Stuttgartu. Jeho rodičmi boli Hermann Einstein (* 30. august 1847, Buchau – † 10. október 1902, Miláno), obchodník s matracmi, ktorý neskôr riadil v Mníchove vlastný elektrochemický podnik (Elektrotechnische Fabrik J. Einstein & Cie) a Paulina Einsteinová (rod. Kochová, * 8. február 1858, Bad Cannstatt – † 20. február 1920, Berlín). Rodina bola židovská, ale nedodržiavala židovské zvyky. Po presťahovaní sa do Mníchova sa v roku 1881 narodila Einsteinova sestra Maria („Maja“). Albert navštevoval katolícku ľudovú školu a na naliehanie matky bral hodiny huslí.
Keď mal päť rokov, otec mu ukázal kompas a Einstein si uvedomil, že niečo v „prázdnom“ priestore musí pôsobiť na strelku. Neskôr opísal Einstein túto skúsenosť ako jednu z najdôležitejších vo svojom živote. Hoci pre zábavu staval modely a neskôr mechanické zariadenia, bol považovaný za pomaly sa učiaceho žiaka - pravdepodobne kvôli dyslexii, hanblivosti alebo veľmi neobvyklej štruktúre mozgu (čo sa ukázalo po smrti pri skúmaní jeho mozgu). Neskôr sám Einstein prisudzoval svoj objav teórie relativity svojej pomalosti. Hovoril, že vďaka tomu, že premýšľal o podstate priestoru a času neskôr ako ostatné deti, mohol zapojiť vyvinutejší intelekt. Iná, novšia, teória o jeho mentálnom vývoji predpokladá, že Einstein mal Aspergerov syndróm, poruchu príbuznú autizmu.
Od roku 1888 navštevoval Einstein Luitpold-Gymnasium, kde sa mu dostalo relatívne moderného vzdelania. Opakujúca sa fáma, že v matematike prepadal, nie je pravdou; dôvodom je chyba prvých biografov, ktorý si zamenili známkovací systém v Nemecku a vo Švajčiarsku (v Nemecku je najlepšia známka 1, vo Švajčiarsku je to 6) čo spôsobilo v neskorších rokoch zmätok. Dvaja z Einsteinových strýkov podporovali jeho intelektuálne záujmy počas neskoršieho detstva a ranej mladosti. Poskytovali mu vedecké, matematické a filozofické knihy.
Po skrachovaní elektrochemickej firmy jeho otca a strýka v roku 1894 sa rodina presťahovala z Mníchova do Pavie a neskôr blízkeho Milána. Albert však kvôli škole ostal v Mníchove. Disciplína a poriadok školského systému Nemeckého cisárstva mu ale nevyhovoval, čo sa ani nesnažil skrývať. Učitelia mu navyše vyčítali, že svojou neúctou ovplyvňoval aj ostatných spolužiakov. Preto 29. decembra 1894 opustil školu pomocou lekárskeho potvrdenia od spriateleného doktora, v ktorom bolo napísané, že jeho zdravotný stav vyžaduje pokoj a zdržiavanie sa u rodiny v Taliansku. Takisto mal aj potvrdenie od svojho profesora matematiky, že jeho vedomosti prevyšujú úroveň gymnázia, a že je dostatočne pripravený na vysokú školu. Keďže svojich rodičov neinformoval, že opustil školu, tí boli prekvapení, keď ich šestnásťročný syn nečakane prišiel do ich domu v Pavii v Taliansku.
Einstein nevyhovel prianiu svojho otca študovať elektrotechniku. Namiesto toho sa rozhodol, na odporúčanie rodinného priateľa, uchádzať sa o miesto na Zürišskej Polytechnike, dnes Eidgenössische Technische Hochschule (Švajčiarska vysoká škola technická). Urobil to napriek tomu, že bol iba šestnásť a polročný a predpísaný vek na vstup bol osemnásť rokov. Navyše mal v tom čase absolvovaných iba šesť rokov vyššieho vzdelania. Keďže mu chýbala maturita, musel v lete 1895 – ako najmladší účastník pohovorov – absolvovať prijímacie skúšky. Namiesto intenzívnej prípravy však uprednostnil cestovanie po severnom Taliansku. Hoci výborne zvládol prírodovednú časť skúšky, všeobecná časť nedopadla najlepšie a Einstein nebol prijatý. Napriek tomu vďaka výsledkom z matematiky a fyziky zanechal dobrý dojem a presvedčil rektora, aby mu sprostredkoval miesto na liberálne vedenej Kantonálnej strednej škole v Arau, kde nastúpil 26. októbra 1895 do tretieho ročníka (11. trieda) so zameraním na techniku.
Počas štúdia býval u rodiny profesora Josta Wintelera v dome naproti škole a zaľúbil sa do Marie, jednej z troch profesorových dcér. (Neskôr, v roku 1910 sa Albetrova sestra Maja zosobášila s Paulom, synom profesora Wintlera a Albertov priateľ Michele Besso sa oženil Annou, ďalšou dcérou profesora.) Aby sa vyhol armáde, koncom januára 1896 sa Einstein vzdal nemeckého občianstva a navyše vystúpil aj zo židovského náboženského spoločenstva. V septembri 1896 tu ukončil štúdium a získal maturitu.
Začiatkom školského roka 1896/1897 začal so štúdiom na Polytechnike v Zürichu, kde bol prijatý už bez prijímacích skúšok a Marie sa presťahovala do Olsbergu. Na rovnakú školu prestúpila aj srbka Mileva Marićová, ktorá v tomto ročníku študovala ako jediná žena rovnaký smer ako Einstein. Einsteinov vzťah k nej prerástol časom do ľúbostného vzťahu.
V roku 1900 získal učiteľský diplom a po piatich rokoch bez štátneho občianstva získal v roku 1901 švajčiarske občianstvo, ktoré si ponechal až do smrti. V tej dobe diskutoval Einstein svoje vedecké záujmy so skupinou blízkych priateľov, vrátane Milevy. S Milevou mal nemanželskú dcéru Lieserl, narodenú v januári 1902 v Srbsku, kde bola aj adoptovaná. Jej osud nie je známy a nie je vylúčené, že zomrela na záškrt, nakoľko v Srbsku bola v tom čase epidémia záškrtu.
