Karol sa narodil 2. októbra 1538 v severnom Taliansku pri jazere Lago Maggiore ako syn poprednej grófskej lombardskej rodiny. Bol to veľmi nadaný chlapec, a pretože od detstva prejavoval zbožnosť, rodičia ho určili na duchovné povolanie. Ako 14-ročný začal študovať právo a teológiu na univerzite v meste Pavia. Krátko po skončení štúdií, roku 1559, sa stal pápežom jeho ujec Gianangelo de’Medici, ktorý prijal meno Pius IV. Čoskoro nato Karola povolal do Ríma a vymenoval ho za člena svojej rady a tajomníka. V januári 1560 sa Karol stal kardinálom ako 22-ročný a krátko potom administrátorom milánskeho arcibiskupstva, ale musel ostať v Ríme a do Milána vyslal svojho zástupcu. Pápežov postup sa stretol s odporom, ale Karol bol naozaj hoden takého postavenia. Bol učený a nábožný, žil príkladným a skromným životom, plnil horlivo svoje povinnosti a vždy dbal, aby bol ku každému spravodlivý. V duchu mediciovského rodu podporoval umenie a vedu. Náhlu zmenu v jeho živote spôsobila smrť jeho brata Federica v novembri 1562. Priatelia ho nahovárali, aby sa vzdal duchovného stavu a oženil sa, ale on videl v bratovej smrti Boží zásah a rozhodol sa zmeniť svoj život a dať sa vysvätiť za kňaza. O pol roka nato bol vysvätený za biskupa. V máji 1564 bol vymenovaný za milánskeho arcibiskupa. Diecéze sa však nemohol venovať, lebo ho viazali práce okolo Tridentského koncilu. Veľmi sa zaslúžil o jeho šťastlivé zakončenie a ako mladý milánsky arcibiskup usiloval sa uviesť do života koncilové rozhodnutia. Až po roku, keď sa skončil koncil, dovolil pápež Karolovi odísť do Milána.

Nový arcibiskup v duchu rozhodnutí Tridentského koncilu zakladal diecézne semináre na výchovu kňazov. V roku 1572 založil aj univerzitu zvanú Brera a v Pávii dal postaviť internát pre nemajetných študentov. Karolova disciplína bola prísna: prepychový palác zmenil na chudobný byt. On sám a úradníci nemohli nosiť nič prepychové a odlišné od chudobných ľudí. Nočné túlačky, zábavy a vyberané jedlá boli zakázané. Kto sa prehrešil, bol prepustený! V pôstoch a sebazápore bol prvý sám kardinál. Dvom kňazom prísne uložil strážiť ho ako kardinála a vytknúť mu každú chybu, ktorú na ňom zbadajú. A ľud čoskoro zbadal, že dostal kardinála – arcibiskupa svätca.

Hoci k milánskemu arcibiskupstvu patrilo v tom čase 15 biskupstiev, 750 farností a viac ako 2000 chrámov, kardinál sa dal osobne na vizitácie a ponavštevoval skoro všetkých.