V červenci 1337 opouští Čechy Jan Lucemburský, který po oslepnutí pravého oka viděl i na druhé stále hůře. Země se tak opět ocitla bez krále.

Mladý Karel zatím prožíval podivuhodné dobrodružství. Květen a červen strávil v Aquileji, 4. července se zúčastnil bitvy o město Belluna, v srpnu se zastavil v Benátkách. Jak dlouho se tam zdržel, nevíme, musel se vrátit zpět do Feltre. V říjnu se vydal údolím Innu přes Rakousy zpět na Moravu. V listopadu 1337 stanul na půdě markrabství (v Brně byla i Blanka). Po svém návratu nastoupil dráhu svého mocenského vzestupu, jíž král Jan nebyl schopen čelit. Snažil se zajistit dobré vztahy s východními sousedy, v únoru 1338 dojednal ve Visegrádu svatbu své ani ne tříleté dcery Markéty se synem a dědicem uherského krále Karla Roberta, Ludvíkem. V dubnu povolal Jan Karla do Lucemburska. tam však nedojel, ve Frankfurtu nad Mohanem ho císař povolal k rozhovoru. Mezi Ludvíkem Bavorem a Karlem došlo k závažnému jednání, Karel se zřetelně distancoval od politiky svého otce a v červenci 1338 se vrátil do Čech. Návrat do Čech nepochybně posílil jeho postavení. ve vnitřních záležitostech si vedl značně samostatně, angažuje se i v dalších záležitostech. 8. ledna 1339 založil kolegiální kapitolu Všech svatých na Pražském hradě. Zúčastnil se ve Visegrádu schůzky v záležitostech Polska, poté se setkal se svým otcem v Porýní a oba se potom vrátili do Čech. Karel pak dále pokračoval v jednání s uherským králem v Bratislavě. V září 1339 odjíždí do Francie k vojenské pomoci (zahájena "stoletá válka" mezi Anglií a Francií). Na sklonku roku 1339, tedy v období válečného klidu, tráví čas se svým otcem v Paříži. V lednu 1340 zajíždí s otcem daleko na jih do Motpeltieru. Tamější slavná lékařská fakulta lákala krále Jana, aby se pokusil o nové léčení zraku. Karel se však nechtěl déle zdržet, chtěl se po boku kastilského král Alfose XI. zúčastnit křížové výpravy proti Arabům na Pyrenejském poloostrově. Důvodem proč se takového kroku držel, byla skutečnost, že jeho otec úplně oslepl. Tato tragedie podstatně ovlivnila Janův vztah ke Karlovi, ne ve smyslu otcovské lásky, ale trpce uznávané nutnosti jeho legální spoluvlády. V březnu spolu odjíždí do Avignonu, kde se Karel setkává poprvé v životě důvěrně s papežem. Setkává se zde i se svým někdejším starším přítelem z doby francouzského pobytu Pierem de Rosieresem, nyní už kardinálem. ještě téhož měsíce se s otcem vrátil opět do Paříže. Jan zůstal, Karel se vydal do Dolních Bavor k ovdovělé sestře Markétě, která se dovolávala jeho pomoci proti Ludvíkovi Bavorovi.