Keď v Perugii pár mesiacov po svojom zvolení zomrel Benedikt XI., ktorý nastúpil po Bonifácovi VIII. nastali problémy pri voľbe nového pápeža.

Na jednej strane stáli prívrženci Filipa Krásneho a rodiny Colonna a na druhej prívrženci Bonifáca VIII. Za jedenásť mesiacov sa nedokázali kardináli dohodnúť koho vyvoliť. Potom bol navrhnutý kompromis. Voľba padla na Bertranda de Got, bordeauxského arcibiskupa, ktorý bol prijateľný pre obe strany. Kandidát prijal meno Klement a pozval kardinálov na korunováciu do Lyonu. To ešte nenaznačilo, že pápežská kúria sa presídľuje do Francúzska. Klement sa mienil niekedy vrátiť do Ríma, no zdržoval sa hlavne od roku 1309 v Avignone. Bol pod neustálym tlakom francúzskeho kráľa a v tomto období aj zrušil platnosť buly Unam Sanctam pre Francúzsko. Filip Krásny sa však neuspokojil s týmto riešením, ale trval na tom aby sa zaviedol formálny súdny proces, ktorý by vyhlásil Bonifáca VIII. za nezákonného pápeža. Bola to však požiadavka, ktorú by nijaký pápež nemohol splniť. Francúzsky kráľ ešte k predošlej požiadavke pripojil ďalšiu čudnú žiadosť a to zrušiť rád templárov.

Rytiersky rád templárov jestvoval už skoro 200 rokov. Založili ho križiaci v Palestíne a odtiaľ sa rozšíril do Európy, najmä do Francúzska. Filip Krásny údajne objavil tajné ukrutnosti, páchané templármi: modlárstvo, nemravnosť a iné zločiny. V roku 1307 dal zatvoriť všetkých francúzskych templárov (2000). Na týchto vymysleninách nebolo ani kúska pravdy. Medzi templármi ako medzi inými rehoľníkmi mohli byť jednotlivci s chybami, ale ani vtedy ani neskoršie nedokázal sa im nijaký skutočný zločin. Mali však peniaze, ktorých sa chcel kráľ zmocniť. Majetok templárov mal povahu cirkevných základín. Preto potreboval kráľ spoluprácu pápeža k ich zrušeniu. Slaboch Klement V. sa dal ovplyvniť. Zvolal do Vienny všeobecný koncil (1311), aby sa zbavil osobnej zodpovednosti. Koncilný otcovia sa však nedali presvedčiť o vine templárov na základe predložených spisov.
Medzi tým už bolo veľa templárov popravených. Pápež pod tlakom kráľa prítomného na koncile nariadil zrušenie rádu bez súdneho výroku, čisto administratívnym dekrétom na čo mal právo. Aby majetok rádu i naďalej slúžil pôvodnému určeniu, sľúbil ho iným rytierskym rádom.

Skutočne z neho nedostali nič. Popravy pokračovali ďalej a v roku 1314 bol upálený aj veľmajster Jakub de Molay, ktorý až do konca vyhlasoval svojich podriadených za nevinných. Zničenie rádu templárov je jeden z najväčších škandálov, ktoré poznajú cirkevné dejiny.