Vedúcim pracovníkom tovární, ktorým dôveroval, rozdal automatické pištole, dal im rozkaz neprijať ničiteľskú politiku strany, počkať až sa fronta preženie a pokračovať vo výrobe pod vedením spojencov a v prípade nutnosti zbrane použiť proti gauleiterom, pokiaľ by mali námietky. Speera však hrýzlo svedomie, a tak napísal Hitlerovi 19.3.1945 otvorený list, v ktorom mu oznamoval a vysvetľoval svoje konanie. Speer bol Hitlerom osobne zbavený moci nad nemeckým priemyslom. Nič sa však nezmenilo, aj keď už bez formálneho oprávnenia, ale predsa minister pokračoval, vydával rozkazy menom kombinovaného generálneho štábu, kde nemal Speer vlastné spojenie, využíval spojenia vrchného velenia, alebo ríšskych dráh. Hitler si následne povolal Speera k sebe a žiadal o okamžité zastavenie tohto povstania a o ospravedlnenie. Speer to však odmietol a vyhlásil, že vojna je prehraná. Potom sa odohrala čudná scéna uzmierenia medzi anjelom skazy a jeho vzpurným žiakom. Speerovi sa nič nestalo, ale jeho meno sa v tichosti vytratilo zo zoznamu novej vlády. A tak sa Hitler smial naposledy. Ale tým sa, akoby sa mohlo zdať, nekončí Speerova úloha v posledných dňoch Tretej Ríše. Nacistická filozofia totiž mala ďalekosiahly dopad na nemecký národ. Celá jedna generácia musela po vojne úplne zmeniť svoje myslenie. Speer myslel aj na toto a obával sa, aby sa nevytvoril hitlerovský mýtus. A tak požiadal o pomoc dávneho priateľa. Bol ním hamburský gauleiter Kaufmann. Ministrovi sa zrodil v hlave plán. A tak tu, v podzemnom nahrávacom štúdiu hamburského rozhlasu pred dvomi cudzími úradníkmi, ktorých nepoznal s ťažkým srdcom nahrával na pásku svoj veľazrádny prejav. Potom ich požiadal, aby zvážili, či sa má jeho prejav k nemeckému národu zničiť, alebo uchovať. Úradníci súhlasili. Speer potom požiadal Kaufmanna, aby prejav v rádiu vysielali keby sa mu niečo stalo, ale v každom prípade až po Hitlerovej smrti. Ešte aj v jeho posledných chvíľach ho pútala láska k tyranovi, nezabudol na to, že v ňom mal toľko rokov svojho ochrancu a rodinného priateľa a ani na svoju prísahu vernosti. Speer, pretože upadol v Hitlerovu nemilosť sa bál. Nebál sa samotného führera, ale jednotiek neoficiálneho podzemného hnutia odporu Werwolf. Stalo sa to takto. Niekoľko dní po 20. Apríli navštívil Speer ríšske vojská východne od Berlína. Navrhol im, aby mesto obišli zo severu a z juhu a o mesto nebojovali. Odporučil im tiež, aby na ústupe obsadili "Radio Werwolf". Prejav chcel vysielať práve z tejto rádiovej stanice, ale tento postup bol nakoniec príliš nebezpečný, a tak radšej zvoli spomenutú variantu. Hnutie odporu však nikdy svoju činnosť nezahájilo, pretože až do Hitlerovej smrti nemecké vrchné velenie tvrdošíjne odmietalo porážku, a tak nemohlo fungovať hnutie odporu.