Nepatřil však ke skupině kardinálů příznivě nakloněným Lucemburkům. Nový papež sice ujistil Karla svou sympatií, to však mnoho neznamenalo. Počátek roku 1353 znovu poznamenal Karlův osobní život. 2. února zemřela překvapivě jeho mladá choť Anna Falcká. Netrvalo však ani měsíc a Karel byl znovu zadán. Schůzka se uskutečnila počátkem března 1353. Když náhlým úmrtím maličkého Václava zanikla naděje na získání dědictví svídnicko - javorkého, rozhodl se Karel, že nabídne ruku sotva třináctileté Anně sám. Sňatek vzhledem ke společenskému postavení nevěsty ne zcela přiměřený pro nastávajícího císaře je pádným svědectvím toho, že tentokrát měl Karel na mysli jedině zájmy českého království a jim také podřídil volbu. V této době byla dojednána svatba jedenáctileté Karlovy dcery Kateřiny s třináctiletým rakouským následníkem trůnu Rudolfem, byla potom slavena v dubnu v Praze. Po krátkém zdržení v Praze se Karel přes Světlou (Zwetl), kde se znovu sešel s Albrechtem k dojednání pomoci proti Švýcarům, vydal do Budína. Zde 27. května 1353 slavil svůj sňatek s Annou Svídnickou. Při této příležitosti dostal asi nádherný pektorál byzantské práce s ostatky sv. Štěpána, dodnes chovaný ve svatovítském pokladu. Zatímco Anna zůstala v Uhrách, Karel v polovině července 1353 odcestoval do Pasova na schůzku s Wittelbachy. Po návratu z Pasova byla 28. července 1353 Anna Svídnická korunována na českou královnu. V srpnu 1353 se po dlouhé době opět rozhodl pro delší pobyt v říši. Chtěl zde odstranit, zejména v jižní části, překážky, které se stavěly do cesty jeho pochodu do Itálie, a zabezpečit své nedávno získané državy v Horní Falci. Správu království svěřil Janu Jindřichu a pražskému arcibiskupovi. Spolu s králem odcestovala i početná družina. Vedle kancléře Jana ze Středy biskupa litomyšlského, v ní byl i olomoucký biskup Jan Očko z Vlašimi a několik slezských vévodů. Cestovali přes Norimberk do Kostnice a Curychu. Poté Karel zamířil do Mohuče, kde se setkal se svým bratrem Václavem Lucemburským. 21. ledna 1354 jej ve Frankfurtu zastihla zpráva, že ve věku osmašedesáti let zemřel jeho prastrýc Balduín Trevirský. V Balduinovi ztratil Karel výtečného rádce v diplomatických i finančních záležitostech. Musel co nejrychleji zajistit obsazení trevirského stolce lucemburským státníkem. Stalo se tak volbou kapitulního arcijáhna Boemunda, hraběte ze Saarbruckenu. Cestou po říši intenzivně shromažďoval (dokonce někdy tvrdě vymáhal) ostatky, ale i různé cenné předměty, i autického původu. Cesta po říši vyvrcholila 9.