Narodil sa v roku 1922. Pre sovietsku tajnú službu začal pracovať krátko po 2. svetovej vojne. Počas 50. rokov slúžil ako utajený agent na viacerých miestach v zahraničí, okrem iného v roku 1956 sprevádzal sovietsky tím na olympijských hrách v Austrálii. Tento rok bol pre neho dôležitý aj z iného hľadiska -- po Chruščovovom prejave o kulte Stalinovej osobnosti sa mu definitívne zhnusil sovietsky režim, v tom istom roku ho prevelili na prácu v archívoch KGB. To, čo v nich našiel, ho šokovalo ešte viac, najviac systematický útlak samotných Rusov. "Nemohol som uveriť toľkému zlu," povedal po rokoch. "Všetko bolo plánované, pripravené, vopred premyslené."
Už v úlohe hlavného archivára KGB dostal Mitrochin v 70. rokoch príkaz presťahovať zväzky zahraničnej rozviedky KGB do nového ústredia. Ručne si odpisoval najdôležitejšie informácie, doma ich starostlivo prepísal na písacom stroji a nakoniec uložil do skrýše pod podlahou svojho domu. Zápisky z archívu vynášal schované v topánkach, ponožkách či v nohaviciach, prepísané ich prechodne skladoval v byte v kartónoch od mlieka a v kufroch. V roku 1985 odišiel s pocitom dobre vykonanej práce do dôchodku. A čakal. Po neúspechu na americkom veľvyslanectve v roku 1992, nakoniec lepšie pochodil u Britov, ktorí si Mitrochina s jeho rodinou a so šiestimi kontajnermi dokumentov previezli ako jeden z najvzácnejších pokladov studenej vojny. Ako opakovane zdôraznil, neurobil to pre peniaze, ale kvôli zhnuseniu nad tým, ako sa sovietsky režim správal k vlastným ľuďom.