Dňa 25. januára 1959 prešlo práve 99 dní od zvolenia Jána XXIII. na pápežský stolec. V ten deň po bohoslužbách v bazilike sv. Pavla, na ktoré boli špeciálne pozvaní sedemdesiati kardináli prítomní v tom čase v Ríme, pápež oznámil svoje rozhodnutie zvolať v najbližšom čase v Ríme rímsku synodu a všeobecný koncil. Rímska synoda mala prerokovať situáciu v talianskej cirkvi. Pokiaľ ide o všeobecný koncil, pápež vyslovil nádej, že sa na ňom zúčastnia aj všetky „cirkvi, ktoré sa oddelili, aby sa znovu pokúsili zjednotiť“. Koncil sa pripravoval takmer 3 roky. Na rokovanie koncilu bolo pripravených 70 dokumentov. Celý ten čas Ján XXIII. neúnavne pracoval. Za tri roky ešte viac pribral, vyzeral ustatejšie, chorľavel, ale prívetivý úsmev sa mu z tváre nevytratil. Pápež vedel, že je smrteľne chorý. Lekári mu zistili rakovinu žalúdka, ale on odmietol dať sa operovať. V jeho veku bola operácia spojená s veľkým rizikom a on sa chcel stoj čo stoj dožiť otvorenia koncilu.
Konečne prišiel september 1962, na ktorý tak dlho čakal. Do Ríma sa zo všetkých končín sveta schádzali novinári, rozhlasoví a televízni komentátori, turisti a pochopiteľne konciloví otcovia - kardináli, patriarchovia, arcibiskupi, biskupi, generáli rehoľných rádov – aj čestní hostia, predstavitelia iných cirkví a vierovyznaní. Dňa 11. septembra o ôsmej hodine ráno bolo vo vysvietenej bazilike sv. Petra slávnostne otvorené prvé zasadnutie Druhého vatinkánskeho koncilu. Na tribúnach zasadalo 2692 cirkevných hierarchov v mitrách a prepychových stredovekých rúchach. Európu zastupovalo 849 koncilových otcov, Ameriku – Severnú i Južnú 932, Áziu 256, Afriku 250 a Oceániu 70. Rokovanie prvého zasadania skončilo 8. decembra 1962. Na záver zasadania vyslovil Ján XXIII. nádej, že koncil ukončí svoje rokovanie v nasleujúcom roku. Konciloví otcovia poznali jeho zdravotný stav a mali zlé tušenie, ze ho vidia naposledy.
V polovici mája 1963 Ján XXIII. uľahol. Jeho osobný lekár Benátčan Gasparini a mnohí ďalší špecialisti, ktorí sa starali o jeho zdravie, po prezretí pacienta prišli k záveru, že niet nádeje na jeho uzdravenie a že teraz sa už treba starať len o to, ako uľahčiť chorému utrpenie. Dňa 23. mája pápež posledný raz vstal z postele a podišiel k oknu svojej spálne, aby sa pozrel na námestie sv. Petra, zaplnené ako vždy početným pestrým zástupom. Akoby sa lúčil s Rímom. Ján XXIII. veľmi schudol, oči mal vpadnuté, tvár mu zosivela. Do posledných chvíľ si však udržal jasné vedomie. Deň pred svojím skonom prijal svojho štátneho tajomníka, ktorý ho informoval o bežných veciach, prišli sa za ním rozlúčiť kardináli a jeho bratia so sestrou. Ján XXIII. dňa 3. júna 1963 o 19. hodine 49. minúte skonal.