Jednání byla počátkem roku 1344 přerušena, když došel list papeže Klimentem VI., zvoucí Karla do Anignonu, a král Jan naléhal na okamžité zastavení všech rozhovorů na základě nový skutečností. Karel neměl příliš chuti uposlechnout otce, který už tolikrát prokázal svou nespolehlivost, nicméně uvěřil náznakům postů, že tentokrát jde o něco vážného a počátkem února 1344 proto opustil Čechy. Svým zástupcem v zemi ustanovil Jana Jindřicha. Karel měl potřebu jednat s otcem v záležitostech dalšího uspořádání vlády v Čechách, neboť uplynulo smluvené dvouročí. Otec se synem se však nedohodli, do jejich sporů musel zasahovat sám papež. jednání v Avignonu probíhala od začátku března 1344. Jan a Karel zůstávají papežovými hosty do počátku května. Na Karlovu žádost povýšil Kliment pražský biskupský stolec bulou z 30. dubna 1344 na metropolitní arcibiskupství. Počátkem května oba Lucemburkové opustili Avignon. Jan odjel do Lucemburska a Karel do Basileje, kde se zdržel dva měsíce na různých tajných jednáních, a to i s Ludvíkovými důvěrníky. Smluvil sňatek své dvouleté dcery Kateřiny se synem Albrechta II. Rakouského, Rudolfem. 13. -17. září 1344 se Karel zúčastnil schůzky s kurfiřty v Bacharachu na Rýně. Na podzim 1344 se král Jan se synem navrátil do Čech, znamenalo to, že se nepohodli o uspořádání vlády, měl pokračovat systém dvojvládí. Přivítání v Praze bylo okázalé, navazovala na ně celá řada slavností, patřilo mezi ně i předání pallia (odznaku pravomoci, propůjčovaného papežem jen patriarchům a metropolitům) Arnoštu z Pardubic 21. listopadu 1344. Význam slavnosti zvýšilo i to, že se nový arcibiskup s králem a jeho syny odebrali k položení základního kamene katedrály sv. Víta, jež měla nahradit dosavadní basiliku. Na sklonek roku připadly přípravy na Janovu a Karlovu účast na křížové tažení německých rytířů do litevské Žmudi. Výprava, jako všechny předcházející mnoho nepřinesla a obleva v únoru 1345 tažení nadobro přerušila. Výpravu provázelo ochlazení vztahu polského krále k Lucemburkům. Kazimír se pokusil Karla, který se vracel počátkem března přes Kališ ve městě zajmout. Jen díky duchapřítomnosti se Karlovi projet mezi ozbrojenci branou z města a spasit se útěkem do Vratslavi. Dochází k odvetným bojům proti Bolkovi, příbuzenskými svazky s Wittesbachy i Kazimírem dávno nepohodlnému lucemburské politice. Jeho vévodství bylo popleněno, předměstí Svídnice vypáleno, a když se do šarvátky připletl i Ludvík Braniborský, pustil se Karel do obléhání pevného Sprenebergu, klíče k Dolní Lužici. Ludvík získal na svou stranu Kazimíra a počítal i s Ludvíkem Uherským.