Lebedev mu ponuka výlet do letného sídla v Pavlovsku, čo mu padne vhod, lebo Jepančinovci, ktorých dlho nevidel išli do toho istého mestečka.
V ten deň navštívi aj Rogožina, s ktorým sa už medzičasom znovu spriatelil v Moskve. Rogožin kniežaťu prezradil, že ho Nastasia miluje a že v ich láske nebude brániť.  
Po návšteve sa knieža prechádza  po meste. Počas prechádzky sa mu vracajú všetky myšlienky a dojmy z toho čo prežil v Rusku od svojho príchodu zo Švajčiarska.

Necíti sa dobre a rozhodne sa ísť do hotela. Stavy, ktoré poznal pred pobytom vo Švajčiarsku sa vracajú späť. V hoteli ho na schodišti čakal Rogožin s nožom. Chcel knieža zabiť. Ale knieža dostáva epileptický záchvat a padá zo schodov. Rogožin zatiaľ ujde. Knieža odniesli do jeho izby a zavolali doktora. Našťastie nešlo o vážny záchvat a knieža sa po pár dňoch cítil lepšie. Po vyliečení sa knieža presúva s Lebedevom do Pavlovska. Tam ho príde pozrieť celá rodina Jepančinovcou a Ivolginovcou.
Kniežaťu prečítajú urážajúci článok v novinách ohľadom kniežaťovho majetku. Podľa článku si údajný syn nárokuje na Pavliščenkove peniaze od kniežaťa.
Spor sa skončí tým, že knieža a Gaňa dokážu, že peniaze patria kniežaťu.
Knieža si v Pavlovsku začne budovať city k Aglaji. Tie sú však rovnako komplikované ako tie city, ktoré cítil k Nastasii Filipovne.

3. Časť

Knieža sa vyberie so známymi na koncert, kde stretne Nastasiu Filipovnu, ktorá poznamená posmešnú poznámku ohľadom strýka Pavloviča, ktorý sa zastrelil. Dôstojník, priateľ Pavloviča, povedal: "Tu pomôže len korbáč, inak sa nestrasieš tej ohavy!" Nastasia Filipovna sa urazí a šľahne dôstojníka po tvári. Dôstojník sa vrhne na Nastasiu chce ju udrieť, ale knieža ho zadrží a dôstojník ho udrel.
Knieža sa po tomto incidente večer rozpráva s Aglajou. Pýta sa ho, či vie strieľať a vysvetlí mu ako ju používať.

Keď sa vrátil do vily, priatelia mu popriali všetko najlepšie k narodeninám a všetci si pripili šampanským. Keď sa všetko skončilo, knieža sa zase prechádzal po parku. Sadol na zelenú lavičku, ktorú mu ukázala deň pred tým Aglaja a čakal tam na ňu. Zaspal na nej a snívalo sa mu o Nastasii Filipovnej. Zobudila ho Aglaja, povedala mu, že chce aby bol jej priateľom, ktorému môže povedať všetko. Prezradí mu aj to, že chce utiecť z domu.

Na druhý deň za ním prišiel Lebedev, ktorému niekto ukradol 400 rubľov. Nakoniec sa ukáže, že to bol generál Ivolgin, ale potom sa mu peniaze anonymne vrátia. Knieža si prečítal listy pre Aglaju od Nastasie Filipovnej. Nastasia sa snaží donútiť ju, aby sa vydala za knieža. Knieža sa znovu večer prechádza po parku. Stretne tam Nastasiu Filipovnu, ktorá  ho chcela naposledy vidieť a rozlúčiť sa s ním.

4. Časť

Generál Ivolgin oznamuje kniežaťu, že odchádza od Lebedeva. Odchádza so svojim synom Koľom, ale po ceste dostane porážku a do ôsmich dní zomrie. V jeden deň knieža vyznal lásku Aglaji a požiadal ju o ruku. Aglaja to prijme a na počesť zasnúbenia usporiadajú večierok, ktorý má uviesť knieža do spoločnosti.

Knieža sa strápni tým, že vyjadrí svoje pochybné názory. Na konci oslavy dostane znovu záchvat. Na druhý deň ho všetci postupne navštívia a Aglaja mu pošle lístok, aby večer nikam nechodil. Keď celý dom zaspal Aglaja prišla a zobrala ho do domu, kde bývala Nastasia Filipovna. Ráno sa Aglaja veľmi pohádala s Nastasiou Filipovnou a vyzve knieža, že ak nevstane, tak môže ostať u Nastasii Filipovny. Knieža nepochopil, aká je táto situácia rozhodujúca a ani si nevedel vybrať, lebo obe miloval, ale každú iným spôsobom. Aglaja s plačom odišla a knieža zostal s Nastasiou Filipovnou.

Po čase sa s ňou zasnúbil a keď už je všetko pripravené a Nastasia Filipovna príde v kočiari pred kostol, Rogožina ju zachráni pred svadbou a spolu utečú do Petrohradu.
Knieža sa za ňou vyberie do Petrohradu, kde hľadá Rogožina, ale nevie ho nájsť. Ale Rogožin ho vyhľadá sám a vezme ho do svojho domu. Keď knieža príde do domu, zistí, že Rogožin zabil Nastasiu Filipovnu. Ráno, keď ich nájdu, Rogožin je v horúčke, knieža ho chodí utišovať, ale jeho psychický stav sa tiež zhoršil. Rogožin dostal zápal mozgu a keď po dvoch mesiacoch vyzdravie, odsúdia ho na 15 rokov na Sibíri za vraždu Nastasii Filipovny.

Knieža s rovnakým stavom ako na začiatku, odíde znovu do Švajčiarska. Aglaja sa vydala za Poliaka, ktorý o sebe tvrdil, že je gróf a že má veľký majetok, ale všetkých oklamal a Aglaju rozhádal s rodinou. Kniha sa končí tým, že Jepnčinovci sú vo Švajčiarsku a Lizaveta Prokofievna túži po domove a kritizuje všetko zahraničné.