júna 1975 po smrti starého otca, 7. grófa Spencera, sa rodina presťahovala do Althorpu. Tu sa Dianin otec Johnie Spencer zoznámil s Raine – dcérou Barbary Cartlandovej, manželkou grófa z Darmouthu – jedného z priateľov rodiny Spencerovcov. Raine už mala štyri deti, John sa však rozhodol, že s ňou chce stráviť celý zvyšok svojho života a vzal si ju za ženu. Diana mala vtedy pätnásť rokov. Medzi macochou a deťmi však vládli neskrývane zlé vzťahy, lebo Raine postupne rozpredávala rodinný majetok, obrazy, sochy a iné umelecké predmety. Takéto veci si v Británii všetky zámožné rodiny chránia ako oko v hlave, lebo ich považujú za dedičstvo, ktoré má byť odovzdávané ďalším generáciám. Diana pokračovala v štúdiu na strednej škole. Skúšky na základnom stupni však vôbec nezvládla, a keď sa vrátila zopakovať si ich, znovu prepadla. Odišla z West Heathu bez konkrétnej kvalifikácie, len s hmlistou predstavou, že chce pracovať s deťmi. Nasledoval krátky pobyt vo švajčiarskej drahej súkromnej škole - Institut Alpin Videmanette. Vládol tu diktát, dievčatá mali veľmi málo voľnosti. Študentky sa mali naučiť variť a dobre rozprávať po francúzsky, no Diana sa tu vôbec necítila dobre a po dvoch mesiacoch odišla. Chcela začať nový život v Londýne, ale bolo jej povedané, že vlastný byt môže mať až po dovŕšení 18 rokov. Rodičia ju preto poslali k fotografovi majorovi Jeremymu Whitakerovi, ktorý žil s manželkou v Headley Bawden v Hampshire. Diana u nich bývala 3 mesiace, starala sa o ich dcéru Alexandru, upratovala a varila. Matka jej nakoniec povolila bývať vo svojom byte na Cadogan Square. Tu Diana žila rok, pričom jej spolubývajúcimi boli Sophie Kimballová a Laura Greigová. Obe poznala z mladosti. V tom čase Diana zložila na druhýkrát autoškolu. Zarábala si ako čašníčka na súkromných večierkoch a ako upratovačka. Nikdy nepila, nefajčila a voľný čas trávila čítaním, pozeraním televízie alebo návštevami priateliek. Rada čítala najmä sentimentálne romány od Danielle Steelovej. Víkendy trávila na vidieku v Althorpe s otcom, na chate sestry Jane alebo na večierkoch.
Jej otec gróf Spencer nečakane dostal krvácanie do mozgu. Previezli ho do nemocnice Northampton General Hospital. Jeho manželka Raine zariadila prenos do nemocnice National Hospital for Nervous Diseases, kde ležal niekoľko mesiacov v kóme. V tomto období sa vzťahy medzi ňou a deťmi vyostrili. Raine bránila deťom v navštevovaní otca, ale sestričky sa nad nimi zľutovali a púšťali ich, keď macocha nebola na dohľad.