Mohol mať na mysli ktoréhokoľvek člena ÚV, len nie Stalina, o ktorom sa začal vyjadrovať čoraz negatívnejšie. V roku 1923 si vtedy už veľmi chorý Lenin začal uvedomovať, že Stalin nie je vhodný tajomník a chcel ho odvolať, no smrť v januári 1924 mu v tom zabránila. V tomto roku bol XIII. zjazd strany, na ktorom sa podľa Leninovej vôle prečítal „List zjazdu“, čo bol v podstate jeho politický závet, ktorý napísal už v roku 1923 a obsahoval vtedajších čelných predstaviteľov strany. O Stalinovi okrem iného napísal aj toto:
Stalin je príliš hrubý a tento nedostatok je neprípustný u generálneho tajomníka. Preto súdruhom navrhujem, aby premysleli spôsob, ako preložiť Stalina z tejto funkcie.
Pri formovaní vedúcich orgánov strany sa Stalin demonštratívne vzdal funkcie generálneho tajomníka, odvolávajúca sa pritom na Leninov závet. Zinoniev, Kamenev a väčšina ostatných členov výboru ho presvedčili, aby svoje odvolanie vzal späť. Pred zjazdom urobili zrejme dohodu. Stalin schválil Zinovieva za hlavného referujúceho na XIII. zjazde a Zinoviev mal pre neho vybojovať funkciu generálneho tajomníka.
Keď sa zamyslíme nad vtedajšou situáciou, je na prvý pohľad skutočne nepochopiteľné, ako sa Stalin mohol dostať k moci. Jeho intelekt sa zďaleka nevyrovnal Trockému či Zinovievovi a medzi ľuďmi nebol veľmi populárny. Jednou z jeho príčin úspechu bolo zrejme to, že ho všetci podceňovali. Napriek svojim negatívam mal Stalin isté prednosti, ktoré nemal nikto iný z „Leninovej gardy“. Vedel obratne manipulovať so straníckym aparátom, bol veľmi ľstivý, pomstychtivý a mal výbornú pamäť. A na rozdiel od ostatných nepreceňoval svoje schopnosti a svoj vplyv. Stalinova taktika likvidácie odporcov bola jednoduchá, ale účinná. Stalin vždy zastával väčšinovú líniu strany. Vždy sa spojil s väčšinou a obvinil daného odporcu z frakcionárstva, odpadlíctva a sabotáže. Tým bol dotyčný odpísaný v spoločnosti aj v strane.
Prvý človek, s ktorým sa takto vysporiadal, bol Trockij. Keďže bol pôvodne menševikom, nebolo pre Stalina problémom obviniť ho z menševickej úchylky. O rok neskôr sa do podobnej situácie dostali aj Kamenev a Zinoviev. Obaja sa potom spojili s Trockým a vytvorili opozíciu voči hlavnej časti strany, ktorá už nemala žiadnu šancu. Stalin sa tak stal ústrednou postavou, akýmsi zjednocovateľom boľševického štábu.
Niekedy v strede 20.rokov zaviedol Stalin trestný systém. Jeho najdôležitejším článkom bol GULAG (Glavnoje upravlenije lagerel – Hlavná správa táborov).