Jeho otec, starý otec i prastarý otec boli architektmi. Otec - Albert Speer - bol obľúbeným architektom nacistického vodcu Adolfa Hitlera a neskôr, počas druhej svetovej vojny, pracoval ako minister vyzbrojovania a vojenskej výroby.
Počas svojho pôsobenia na škole sa dostal do kontaktu s nacisticky zmýšľajúcimi študentmi, potom ho uchvátila osobnosť Adolfa Hitlera. V roku 1932 vstúpil do NSDAP, kde sa mu otvorili dvere k tomu, aby sa stal najvýznamnejším predstaviteľom nacistickej architektúry.
Goebbels bol nadchnutý jeho prácou a odporučil ho Hitlerovi. Speer sa tak postupne prepracoval medzi prominentov strany a dokonca sa stal Hitlerovým veľmi blízkym priateľom, neskôr sa stal hlavným ríšskym architektom, uvádza Wikipedia.
Speer mladší vyštudoval architektúru v Mníchove. Svoje prvé medzinárodné ocenenie získal v roku 1964, keď otvoril aj vlastnú architektonickú kanceláriu, ktorá sa neskôr okrem iného podieľala na projekte sídla Európskej centrálnej banky vo Frankfurte či výstaviska Expo 2000 v nemeckom Hannoveri.
Vypracoval aj projekty na štadióny v Katare, kde sa v roku 2022 budú konať futbalové majstrovstvá sveta. V roku 1977 sa stal profesorom urbanistického plánovania na technickej univerzite v Kaiserslauterne.
Speer starší bol oddaným nacistom. Jeho najvýznamnejším dielom bol areál so štadiónom na Zeppelinfielde v Norimbergu. Medzi ďalšie významné realizácie patrila stavba Nové ríšske kancelárstvo, ale aj plán na prestavbu Berlína s veľkou halou – najväčšou stavbou sveta -, ktorý vychádzal z pôvodných skíc Adolfa Hitlera. Po druhej svetovej vojne bol Speed starší norimberským tribunálom odsúdený na 20 rokov väzenia.