Dovedna sa oženil štyrikrát - s Blankou z Valois (1323, matka dcér Markéty a Kateřiny), Annou Falckou (1349, matka prvorodeného syna Václava, ktorý rok po narodení zomrel), Annou Svídnickou (1353 - 62, matka Václava IV.) a s Annou Pomořanskou (1363, matka Žigmunda, Jana Zhořeleckého a dcéry Markéty).

Karolova vláda bola aj obdobím kultúrneho rozkvetu. Panovník viedol korešpondenciu s veľkým talianskym humanistom Petrarcom a vplyv pôsobenia talianskeho humanizmu v Čechách bol zrejmý už počas jeho vlády. Kráľ podporoval písanie kroník, ktoré mali zdôrazňovať nadväznosť luxemburského panovania na obdobie Přemyslovcov a v priaznivom svetle prezentovať jeho vládu.