Druhou stránkou jeho povahy bola bezhranická ctižiadosť, pomstychtivosť, samoľúbosť, cynizmus a vnútorný chlad. Samozrejme, našli sa jednotlivci, ktorí jeho osobnému čaru nepodľahli. Napríklad Johnson ho roku 1960 charakterizoval ako slabého, bezfarebného suchára, nerozhodného politika a poženšteného muža.
Väčšina mužov a žien vnímala Jacka Kennedyho ako neodolateľného. Tenistka Kay Stammersová, ktorá sa sním zoznámila po vojne v Anglicku, na jeho adresu spomínala: „Ženy ho rozmaznávali, som si tím istá. Sotva pohol malíčkom, už sa k nemu zbiehali. Bol prirodzene atraktívny, bohatý a slobodný - úžasná šanca!". Filmová hviezda Gene Tierneyová opísala Kennedyho, ktorého stretla roku 1946 v Hollywoode, ako hrdinu z dievčenského románu. Kennedyho príťažlivosť spomínali všetky ženy s ktorými mal sexuálny pomer, ako napr. novinárka Nancy Dickersonová: „Bol telesne a živočíšne prekliato príťažlivý". Ďalšia žurnalistka, Dánka Inga Arvadová, ktorá s ním tiež mala vzťah, zanechala výstižný portrét mladého JFK: „Jack mal taký šarm, že ním dokázal očariť aj vtákov na strome..." Inga, označovaná za vzor nordickej krásy, bola popri jeho manželke Jackie hádam jedinou ženou, ktorá bola pre Kennedyho viac než sexuálnym objektom. Paradoxne, počas vojny udržiavala priateľské styky s Göringom a Hessom a po vojne ju sledovala FBI. Tento ľúbostný románik mohol pre Kennedyho znamenať politickú smrť.
Ako ryba vo vode sa JFK citíl počas divokých večierkov a výletov. Mladý senátor George J. Smathers, jeho dlhoročný priateľ, ktorý ho sprevádzal na takmer každom sexuálnom dobrodružstve, spomínal, ako pri jednej ceste na plachetnici zviedol Jack manželku herca Davida Nivena: „Bolo to, ako keď kohút skočí na sliepku a šup šup ju obskáče. Našuchorená sliepka sa potom otrasie a pýta sa sama seba, čo sa to vlastne stalo?". Takých, resp. podobných príkladov bolo viac. Za mnohé vypovedá aj výrok herečky Angie Dickinsonovej, ktorú JFK zviedol v priebehu osláv svojej inaugurácie. Keď sa jej pýtali, aké to je mať sex s prezidentom USA, sucho odpovedala: „Bolo to sedem najvzrušivejších minút v mojom živote". Kennedyho spôsob života, jeho neustále zálety nemali nič spoločné s povestnou morálkou puritánskej Ameriky. No Amerika 50. a 60. rokov svojho mladého prezidenta milovala a tolerovala mu všetko.
Kennedyovci pre svoj írsky pôvod nepatrili k americkej smotánke. V snahe dosiahnuť level aristokracie bol Joseph P. Kennedy ochotný urobiť maximum, aj cez sobáše svojich detí. Preto napr.