Podczas [[wojna trzydziestoletnia|wojny trzydziestoletniej]] ([[1618]]-[[1648]]) siedziba joannitów uległa zniszczeniu, ale wkrótce ją odbudowano. Pół wieku później, w [[1706]], została strawiona przez pożar, po którym komtur von Dittrichstein podjął decyzję o budowie pałacu w formie, która w znacznym stopniu (uwzględniając późniejsze rozbudowy) zachowała się do dziś. Prace przy budowie pałacu ukończono w [[1711]] i jeszcze przez następne sto lat przebywali tu joannici, kiedy w [[1810]] w związku z [[kasata|kasatą klasztorów]] w [[Prusy (państwo)|Prusach]] pałac przejęło państwo.
Wkrótce po tej sekularyzacji, w uznaniu zasług feldmarszałka [[Johann Ludwig Yorck von Wartenburg|Johanna Davida Ludwiga hrabiego YorckYorcka von WartenburgWartenburga]] w [[wojny napoleońskie|wojnie z Napoleonem]] król pruski [[Fryderyk Wilhelm III Hohenzollern]] podarował mu wieś wraz z pałacem. W rękach [[ewangelicy|ewangelickich]] hrabiów [[Yorck von Wartenburg (ród)|Yorck von Wartenburg]] posiadłość pozostawała przez pięć pokoleń, aż do końca [[II wojna światowa|II wojny światowej]], pomimo to jednak kościół przez cały czas pozostawał [[katolicyzm|rzymskokatolicki]].
Hrabia Johann David Ludwig hrabia Yorck już od [[1815]] podjął znaczną rozbudowę pałacu, którą zakończył po pięciu latach. Następną rozbudowę zrealizował w latach [[1904]]-[[1905]] hr. dr Heinrich hrabia Yorck von Wartenburg, budując wieżę - zwaną wieżą Zofii - przy wejściu głównym oraz [[oranżeria|oranżerię]] wzdłuż południowej ściany kościoła należącego do kompleksu pałacowego. Peter hrabia Yorck von Wartenburg, ostatni właściciel majątku, stracony został w Berlinie niespełna 3 tygodnie po [[zamach 20 lipca|zamachu na Hitlera]], [[8 sierpnia]] [[1944]] za udział w założonym przezeń wraz jego przyjacielem [[Helmut James von Moltke|Helmutem J. von Moltke]] [[Krąg z Krzyżowej|Kręgu z Krzyżowej]]. W ścianę pałacu wmurowano dwujęzyczną - polsko-niemiecką - tablicę pamiątkową poświęconą ostatniemu z właścicieli Oleśnicy Małej.
W upaństwowionym po [[II wojna światowa|wojnie]] pałacu mieści się obecnie Zakład Doświadczalny Hodowli i Aklimatyzacji Roślin oraz mieszkania jego pracowników.
