Pierwotnie w miejscu pałacu znajdowała się obronna siedziba rodu Toporczyków, którzy od nazwy miejscowości zaczęli się nazywać Pileckimi. Od nich Pilicę kupili w 1569 roku Padniewscy herbu Nowina. Około 1610 roku kasztelan oświęcimski Wojciech Padniewski wzniósł w miejscu rezydencji Pileckich nową późno[[renesans]]ową rezydencję w stylu włoskim i przeniósł się do niej z nieodległego zamku [[SmoleńZamek w Smoleniu|Zamku w Smoleniu]]. Po wygaśnięciu rodu Padniewskich kolejnym właścicielem był [[Jerzy Zbaraski]], który dokończył budowę, a następnie właścicielem stał się [[Konstanty Wiśniowiecki]], przez małżeństwo z córką którego Heleną, zamek jako [[posag]] objął w posiadanie po 1636 roku starosta piotrkowski [[Stanisław Warszycki]] z Dankowa. On to rozbudował pałac, a w 1651 roku znacznie wzniósł potężne fortyfikacje otaczające zamek, w tym sześć murowanych bastionów z kazamatami połączonych murami kurtynowymi otoczonymi fosą o szerokości 20 metrów, dzięki czemu zamek stał się nowoczesną jak na ówczesne czasy twierdzą. Pomimo tego w 1655 roku na krótko zespół zamkowy został zajęty przez wojska szwedzkie, lecz wkrótce został odzyskany, a szkody usunięte<br /> W 1705 roku wojska szwedzkie ponownie zajęły zamek. W 1731 roku ostatnia z rodu Warszyckich Emerencjanna Pociejowa sprzedała zamek [[Maria Józefa Wessel|Marii z Wesslów Sobieskiej]] (wdowie po królewiczu [[Konstanty Władysław Sobieski|Konstantym Sobieskim]]), która następnie przebudowała pałac w stylu [[barok]]owym. W roku 1753 przekazała Pilicę bratankowi [[Teodor Wessel|Teodorowi Wesslowi]] i wstąpiła do klasztoru Sakramentek w Warszawie. W 1852 roku pałac kupił Krystyn August Moes, który rozpoczyna remont, po którym jednak pałac spłonął w pożarze. W 1874 roku ruinę kupił słynny przemysłowiec Leon Epstein, który wyremontował pałac i nadał mu styl [[neorenesans]]owy, a fortyfikacje ozdobił w stylu romantycznym. W 1880 roku Epsteinowie opuścili Pilicę i przenieśli się do Krakowa, a do 1887 roku majątkiem kierowali zarządcy, po czym zapadła decyzja o sprzedaży zespołu zamkowego.
W 1908 roku od Pelagii z Dziewulskich (wdowy po Zdzisławie Puchale) pałac i okoliczne majątki kupił inżynier Kazimierz Arkuszewski, którego potomkowie byli właścicielami zamku do 1945 roku.<br /> Od końca 1942 do wiosny 1944 r. na zamku stacjonował pluton zmotoryzowanej żandarmerii - Gandarmerie Mot-Zug 63 pod dowództwem lejtnanta von Kreske. Pluton ten pod murami zamku rozstrzelał ok. 80 Polaków i ok. 70 Żydów. W 1945 roku odebrano majątek Arkuszewskim, a pałac przeznaczono na [[dom dziecka|dom dziecka]] dla dziewcząt, a w latach 80. XX w. zakładu poprawczego dla młodzieży. W latach 1960-1962 konserwowano częściowo pałacowe wnętrza. Od [[1989]] zespół pałacowy jest własnością [[Barbara Piasecka-Johnson|Barbary Piaseckiej-Johnson]].
