En 1975, Lionel Jospin devient Secrétaire national au Tiers-Monde, puis en 1979, au Congrès de Metz, Secrétaire national aux Relations Internationales, chargé de la Coordination. En l'absence de François Mitterrand, c'est lui qui préside le Secrétariat National et le Bureau Exécutif. A partir de 1975, il est aussi chargé de suivre le dossier sensible des relations entre le Parti Socialiste et le Parti Communiste Français. Son rôle aux côtés de François Mitterrand est alors déterminant dans la conduite de la stratégie qui conduira à la victoire de 1981.

Le 24 Janvier 1981, au Congrès extraordinaire de Créteil qui désigne François Mitterrand comme candidat du PS à l'élection présidentielle, Lionel Jospin est élu, à l'unanimité du Comité Directeur, Premier secrétaire. Il le restera jusqu'au 12 Mai 1988, date à laquelle il sera nommé Ministre d'État, ministre de l'Éducation nationale, de la Jeunesse et des Sports. Profondément marqué par la part qu'il n'a pu éviter de prendre lors des difficiles débats du Congrès de Rennes (1990), il prend alors progressivement ses distances avec la vie interne du Parti Socialiste, marquée par des querelles internes et des pratiques qu'il désapprouve. Lionel Jospin démissionnera le 3 Avril 1993 du Comité Directeur et du Bureau Exécutif du Parti Socialiste. Il ne reviendra à la direction du PS que lors du congrès du Bourget, lorsqu'il accepte de participer pleinement à la conduite des Assises de la Transformation Sociale lancées par Michel Rocard et qui permettent à des personnalités de toutes les sensibilités de la gauche et des écologistes de dialoguer pendant un an sur les problèmes de fond posés au pays. Au Congrès de Liévin, il prend la décision de rédiger seul une contribution adressée aux militants, où il dresse un bilan des années de Gouvernement de la gauche et formule des propositions précises de réformes afin de tracer une perspective pour l'avenir.

Le 4 Janvier 1995, il annonce devant le Bureau National du PS sa décision d'être candidat à la candidature à l'élection présidentielle. Le 5 février 1995, après avoir obtenu plus de
65 % des voix des adhérents du Parti Socialiste, il est désigné par le Congrès extraordinaire du PS comme candidat à l'élection présidentielle.