Zřejmě to bylo opatření bezpečnostního důvodu, aby se malého následníka nemohla zmocnit skupina pana Jindřicha z Lipé, Křivoklát se zdál bezpečnější než pražský palác.

V době kdy se malý Václav vrátil do Prahy, složil Petr z Aspeltu svůj správcovský úřad, neboť jej povolaly zpět záležitosti říšské politiky a přenechal vládu plně v rukou Elišky. Za pár měsíců na pokraji občanské války se Eliška 20. června roku 1317 uchýlila s Václavem a staršími sestrami Markétou a Jitkou na pevný hrad Loket, do ochrany Viléma Zajíce. Sem přijel také narychlo přivolaný Jan a 18. listopadu 1317 se s královnou vrátil do Prahy. Děti zde patrně zůstaly.

Rozhořivší odboj se nepodařilo zastavit a Janovi nezbylo než se odvolávat v Chebu pravomoci Ludvíka Bavora. Královna se opět uchýlila na Loket, kde je navštívil i římský král. Tehdy poprvé spatřil dvouletého Václava, sotva asi tušil, že se oba ještě střetnou a že se chlapec stane jeho nástupcem.

23. dubna zprostředkoval Ludvík Bavor mezi Janem a českou šlechtou v Domažlicích mír. V té době se zřejmě královna vrátila do Prahy, i když tam řádil hladomor.

V létě tohoto roku přijeli do Prahy Janovy dvě sestry, asi čtrnáctiletá Marie a o něco mladší Beatrice. Měly se stát první velkou sňatkovou kombinací svého bratra. Ještě téhož léta byla na Zbraslavi Beatrice oddána v zastoupení s uherským králem Karelem Robertem z Anjou (1308-1342) a vypravena do Uher za svým ženichem, zemřela však záhy po předčasném porodu. Starší Marie na Eliščině dvoře.

22. listopadu 1318 se Elišce narodil druhorozený syn, pokřtěn byl v basilice sv. Víta, dostal jméno Otakar, ale 20. dubna 1320 zemřel.

Rok 1319 byl pro Václava nešťastným, stal se předmětem politického boje, když vypuklo mezi otcem a matkou nepřátelství.

V polovině února 1319 náhle přijíždí na hrad Loket, kam se královna s dětmi uchýlila. Vydal rozkaz, aby mu byl hrad vydán. Eliška byla odvezena na Mělník a tam internována, malý Václav byl na Lokti uvězněn. V internaci na Lokti a od konce roku na Křivoklátě pobýval malý princ do konce jara 1323, tedy do svých 7 let. 12. 2. 1322 se Elišce narodil třetí syn, jemuž bylo na památku dáno jméno Jan Jindřich.

Jaro a léto 1322 bylo opět dobou velkých Janových sňatkových plánů. 21. 2. 1322 se účastnil v Remeši korunovace francouzského krále Karla IV. Sličného a pojal záměr oženit svou sestru Marii s novým panovníkem. 21. 9. byla v champagnském Provins slavena svatba. Mít sestru francouzskou královnu, to byl první velký takt Janovy rodové politiky. Marie se záhy stane Václavovi cennou oporou za jeho pobytu ve Francii.

V létě 1322 odešly z Čech i jeho obě starší sestry, devítiletá Markéta a sedmiletá Jitka. Markétu provdali za dolnobavorského vévodu Jindřicha, Jitku zasnoubili míšenskému markraběti Fridrichovi.