Postupom času začali mať nemecké jednotky problém zo zásobovaním. Rommel sa aj napriek tomu pokúsil zariskovať a 30. augusta zaútočil na Alam el-Halfu. Tu ho očakával generál Montgomery so svojou armádou. 2. septembra boli Nemci nútení opäť ustúpiť.
Briti sa rozhodli uskutočniť obrovskú ofenzívu Lightfoot, ktorej podstatou bol moment prekvapenia: „Najdôležitejšie bolo, aby Rommel nedokázal predvídať začiatok ofenzívy, ani smer odkiaľ príde. Hoci sa nedalo celkom utajiť, že sa chystá nejaký útok, britské vojská zamaskovali hlavné body na severe, kde sa sústreďovali vojská i materiál, zatiaľ čo na juhu budovali mohutné napodobeniny zhromaždísk. Takto sa pokúšali navnadiť „lišiaka púšte“ na inú stopu“ (Macdonald, 1995).

23. októbra 1942 o 21:40 hod. sa začala najväčšia delostrelecká bitka od skončenia 1. svetovej vojny, bitka o El Alamein. V tom čase bol Rommel na zdravotnej dovolenke v Rakúsku. Jeho zástupca v Afrike generál Stumme zomrel na infarkt nasledujúce ráno, hneď po tom, čo sa dozvedel o britskom útoku. Hitler nariadil Rommelovi okamžitý návrat. 27. októbra podnikol Rommel veľký protiútok, ktorý Briti odrazili a nemecké vojská utrpeli obrovské straty. Nariadil ústup do Fuky vzdialenej 97 km.
Záverečná fáza bitky o El Alamein začala v noci 1. novembra. Rommel vedel, že dlho nevydrží, pretože mal nedostatok materiálu potrebného na takúto bitku. Preto sa rozhodol požiadať Hitlera o súhlas na všeobecný ústup, ktorý mu napokon dal. No i tak značný počet vojakov (hlavne Talianov) padol do zajatia.
Briti prenasledovali ustupujúcu armádu, ale 6. novembra silný dážď zmenil púšť na bahnisko a to zastavilo ich postup. Veľký problém spôsobovali aj mínové polia, ktoré Nemci nechávali pri ústupe.

7. novembra dorazil Rommel so zvyškami svojej armády k hraniciam Líbye. Na ďalší deň sa dozvedel o invázii spojencov do Maroka a Alžírska pod vedením generála Eisenhowera. Snažil sa za každú cenu ubrániť oporné body v Tunisku. V decembri prišli nové posily, ktorým velil generál Arnim. Medzi oboma veliteľmi začali spory o velenie, ktoré značne sťažovali ich situáciu.
Nemci zahájili 14. februára 1943 protiofenzívu, ale pre nedostatok materiálu bola 22. februára ukončená. Postavenie vojakov Osi sa neustále zhoršovalo. 9. marca bol Rommel na Hitlerov rozkaz definitívne odvolaný z bojov v severnej Afrike. Hlavným dôvodom tohto rozkazu bola snaha Hitlera zachovať maršalovu prestíž.
Prevelili ho do severného Talianska, kde viedol skupinu armád B. Väčšinu času však strávil riešením výčinov nemeckých vojakov, ktorí sa správali násilne k talianskemu civilnému obyvateľstvu. Proti takémuto správaniu podával námietky na najvyššie miesta, kvôli čomu sa nakoniec dostal do sporu so samotným Himmlerom.

Koncom roku 1943 dostal Rommel príkaz na preverenie bojaschopnosti Atlantického valu. Dôvodom inšpekcie bolo hroziace riziko vylodenia Spojencov, lenže nevedelo sa kedy a kde. Ihneď po inšpekcii začal s opravou valu, keďže na niektorých miestach bol zabezpečený len ostnatým drôtom a niekoľkými mínami. Dokonca na niektorých miestach nebol ani dobudovaný. „Keďže žiadna druhá obranná línia neexistovala, boli silne opevnené aj dediny v okolí“ (Churchill). Obrana pobrežia mala byť posilnená aj kanónmi z pevných palebných postavení. V mori bolo položených viac ako päť miliónov mín. Pokúšal sa vytvoriť tzv. „zónu smrti“, ale čas hral proti nemu.
Pri zabezpečení pobrežia obrnenými divíziami sa dostal do sporu so svojim priamym nadriadeným maršalom von Rundstedtem, vrchným veliteľom armád Západ. Rundstendem chcel poslať divízie do vnútrozemia ako poistku, ak by sa inváznym vojskám podarilo prelomiť ich obranu. Takisto tvrdil, že k vylodeniu dôjde v oblasti medzi riekou Sommou a Calais. Rommel chcel nechať tieto jednotky v blízkosti pláži, aby mohli na Spojencov ešte počas vyloďovania zaútočiť. Zastával podobný názor s Hitlerom, že k útoku pravdepodobne dôjde v Normandii.

Avšak Hitler túto situácii vyriešil dosť nerozumne, keď časť jednotiek ponechal v blízkosti Normandie a zvyšok stiahol do vnútrozemia, čím výrazne znížil ich údernú silu. V júni predpovedali nemecké meteorologické stanice nevhodné podmienky na vylodenie, a tak Rundstedtem nepočítal zo žiadnym útokom. Rommel dokonca odišiel na dovolenku k svojej rodine do Nemecka.
Ale aj tak 6. júna 1944 spojenci uskutočnili inváziu v Normandii. „Na nemeckom velení nastal obrovský chaos. Von Runstedt požadoval uvoľnenie rezerv, no Hitler ich odmietol uvoľniť s tým, že invázia je iba krycí manéver pre skutočné vylodenie v Calaiskej úžine“(web). Rommel bol okamžite odvolaný z Nemecka do Normandie, kde musel skonštatovať, že postup inváznych vojsk dlho nezadržia. Behom desiatich dní bojov nemecká strana stratila viac ako 600 000 tisíc vojakov, pretože Hitler požadoval bojovať do konca a za žiadnych okolností neustúpiť. 29. júna sa Rommel na porade v Berchtesgadene pokúsil Hitlerovi vysvetliť, že nie je možné klásť dlhodobý odpor. Za to bol vykázaný z miestnosti. Pravdepodobne vtedy si uvedomil, že Hitlerovo konanie privedie Nemecko k obrovskej katastrofe. Snažil sa zachrániť Nemecko, pričom chcel využiť aj svoj vplyv na uzavretie prímeria.