Jeho peniaze sa však postupne míňajú a z bytu na prvom poschodí s najlepším vybavením sa postupne dostáva až na tretie poschodie s najnižšími poplatkami – čím bol chudobnejší, tým vyššie býval (kontrast). V penzióne o ňom vznikajú dohady, pretože nikto netuší, kde miznú jeho peniaze: ,,Istý čas bol jedným z malých hráčov, ktorí chodievajú hrať hazardné hry. Inokedy zas z neho urobili špióna tajnej polície. Potom zas bol otec Goriot lakomec,.. človek, ktorý žije z lotérie. Postupne chudol; lýtka mu spľasli; tvár odutá spokojnosťou, nadmieru zvráskavela, sánka zhranatela. Nemal nikdy ani dcéru, ani ženu; nadmiera rozkoší urobila z neho slimáka, ľudského mäkkýša.“
Stráca svoje postavenie, predáva svoju bohatú výbavu len aby zabezpečil dcéram peniaze, ktoré od neho neustále pýtajú. S úbytkom majetku však prichádza aj o spoločné večere aj ostatné chvíle s nimi. Anastázia de Restaud, ktorá sa pohybuje v najvyšších parížskych kruhoch, sa začína za neho hanbiť, je stále menej prístupná verejným stretnutiam. Stáva sa nepohodlnejším, zatvárajú sa pred ním dvere ich domov, stretáva sa s nimi len sem-tam a i to tajne: ,,Dcéry možno ešte vždy ľúbili otca, no chceli zachrániť capa i kapustu, otca i manžela, vymýšľali si láskyplné zámienky: „Otecko, príďte, bude nám lepšie, pretože budeme sami!“ Srdce tohto chudáka triadeväťdesiatnika teda krvácalo. Videl, že sa dcéry za neho hanbia, a ak ľúbia svojich mužov, on zaťom škodí. A tak sa musel obetovať. Obetoval sa, pretože bol otec: vyhnal sa sám.“
Odohráva sa tu aj osud študenta Eugena de Rastignaca, ktorý sa zaujíma o Goriota: „Jeho život mi prichodí priveľmi záhadný, aby nestálo za námahu preskúmať ho“ , a spriatelí sa s ním. Prostredníctvom svojej vplyvnej sesternice pani de Beauséant sa dostane do vyššej spoločnosti, kde sa spozná s pani de Restaud, do ktorej sa zaľúbi. Keď ju raz po plese ide navštíviť, zastihne ju v prítomnosti jej milenca Maxima de Trailles. Pri neodbytnosti sa mu podarí s ňou stretnúť, no keď sa pred ňou zmieni o svojom susedovi Goriotovi, ktorého videl od nej odchádzať, nevediac, že je to jej otec, grófka ostane šokovaná a Rastignac musí po tejto trápnej situácii odísť. Tým si zavrie dvere do domu Restaudovcov. Goriot mu nechce veriť, že sa grófka nahnevala, keď pred ňou vyslovil jeho meno; myslí si, že ho obe dcéry milujú, že len ich manželia ho nemajú radi. Rastignac navštívi svoju sesternicu, ktorá mu vysvetlí „zákutia francúzskej spoločnosti“ a dá mu radu: „...naučte sa nedôverovať svetu.“ Rozhodne sa riadiť podľa jej rád.