Pałac został wybudowany w 1879 roku według projektu [[Filip Pokutyński|Filipa Pokutyńskiego]]. W pałacu mieściła się siedziba Krakowskich Towarzystw Jeździeckich, a wraz z nią [[Resurs Krakowski]] oraz Kasyno Końskie<ref name="Mała Encyklopedia Krakowa">
{{cytuj książkę|nazwisko=Adamczewski|imię=Jan|autor=Jan Adamczewski|autor link =Jan Adamczewski|tytuł=Mała Encyklopedia Krakowa|wydawca=Wanda|miejsce=Kraków|data=1997|strony=369|isbn=83-87023-05-1|rozdział=Pałac Ogińskich i Potulickich}}</ref>. Budynek został zniszczony poprzez bombardowanie w czasie II wojny światowej. Ruiny pałacu wraz z działką po zakończeniu II wojny światowej zakupiła staraniem kardynała [[Adam Stefan Sapieha|Adama Stefana Sapiehy]] Archidiecezja Krakowska<ref name="wsd">{{cytuj stronę|url=http://www.wsd.diecezja.krakow.pl/index.php?option=com_content&view=article&id=7:dzieje-domu-przy-ul-pisudskiego-4-&catid=1:historia&Itemid=9|tytuł=Dzieje domu przy ul. Piłsudskiego 4|opublikowany=wsd.diecezja.krakow.pl|język=pl|data dostępu=2011-02-20}}</ref>. Pałac został przez władze kościelne wiernie odbudowany<ref name="Mała Encyklopedia Krakowa" />. Po odbudowie początkowo mieściło się w nim niższe seminarium duchowne a następnie stał się on drugim budynkiem [[Wyższe Seminarium Duchowne Archidiecezji Krakowskiej|Wyższego Seminarium Duchownego Archidiecezji Krakowskiej]]<ref name="wsd" />.
Obiekt został wpisany do [[Rejestr zabytków|rejestru zabytków]] [[zabytek|nieruchomych]] województwa małopolskiego<ref>{{zabytek|małopolskie}}</ref>.
