Początki archiwum sięgają roku 1282, czasów rządów margrabiowiemargrabiów brandenburscybrandenburskich<ref name=gsta/>. Za panowania [[Joachim II Hektor|Joachima II]] (XVI wiek) archiwum zostało podporządkowane kanclerzowi<ref name=potop>{{cytuj stronę|url=http://www.potop.bydgoszcz.pl/archivalien/2005-02-27%20Tajne%20Archiwum%20Pruskie.pdf|tytuł=Informacje o Tajnym Archiwum Fundacji Pruskiego Dziedzictwa Kulturowego dla polskich użytkowników|opublikowany=potop.bydgoszcz.pl|język=pl|data dostępu=2017-03-19}}</ref>. W roku 1598 ustanowiono stanowisko archiwisty, na które został mianowany Erazm Langenhain. Połączył on zespoły w repozyturach<ref name=potop/>, dzięki czemu archiwum zaczęło pracować autonomicznie<ref name=gsta/>. Podczas panowania królów [[Fryderyk Wilhelm I Pruski|Fryderyka Wilhelma I]], [[Fryderyk II Wielki|Fryderyka II Wielkiego]] i [[Fryderyk Wilhelm II Pruski|Fryderyka Wilhelma II]] wiele dokumentacji włączano do archiwum gabinetowego. Po rozwiązaniu tajnej kancelarii dokumenty te przeszły do archiwum departamentu spraw zagranicznych. W tym czasie stanowisko szefa ministrów piastował [[Christian von Haugwitz]]<ref name=potop/>. Nadał on<ref name=potop/> w roku 1803<ref name=potop/> dla archiwum nazwę '''Tajne Archiwum Państwowe'''. Wtedy też włączono do niego Tajne Archiwum Ministerialne ({{niem.|Geheimes Ministerialarchiv}}). W połowie XIX wieku powstało archiwum centralne i obejmowało ono cały obszar państwa pruskiego. Było ono wówczas podporządkowane prezesowi ministrów<ref name=potop/>. Po [[I wojna światowa|I wojnie światowej]] pod naciskiem ówczesnego premiera [[Otto Braun]]a zdecydowano się na budowę nowej siedziby<ref name=potop/>. Od roku 1923 instytucja mieści się przy ulicy Archivstraße 12/14 w [[Berlin|berlińskiej]] dzielnicy [[Dahlem (dzielnica Berlina)|Dahlem]]<ref name=gsta/>.
W czasie [[II wojna światowa|II wojny światowej]] część zasobów archiwum została ewakuowana do [[Merseburg]]a (pol. hist. ''Międzybórz'') w kraju związkowym [[Saksonia-Anhalt]]. Po wojnie nie wróciły do Berlina, a zostały w Centralnym Archiwum NRD ({{niem.|Zentrales Staatsarchiv der DDR}}) w Merseburgu. W berlińskiej siedzibie były dostępne tylko te zbiory które nie były wywiezione<ref name=gsta/>. Po [[Zjednoczenie Niemiec|zjednoczeniu Niemiec]] wszystkie zbiory na powrót znalazły się w Berlinie<ref name=gsta/>.
