W latach 70-tych XVIII wieku zamieszkiwał w niej, za zgodą biskupa, pustelnik Antoni Romalewski}}</ref>, który został pochowany na swoją prośbę bez trumny na klęcząco przed krzyżem w ołtarzu. WLegenda głosi,że w 1830 roku miejsce to odwiedził ojciec święty i podarował parafianom relikwie krzyża świętego i udzielił odpustu zupełnego mieszkańcom<ref name=":3" />.W czasie powstania styczniowego w kaplicy ukrywali się powstańcy<ref name=":4" />. Od drugiej połowy XIX wieku właścicielami Grójca byli Wodzińscy<ref>{{Cytuj|autor=|rozdział=|tytuł=1889_PK_Varshavsk_gub_1890|data=1889|s=XVI|url=http://en.calameo.com/books/00205596866fcc2be4174|cytat=}}</ref><ref>{{Cytuj|autor=Janusz Stankiewicz|rozdział=Lasy Gubernii Warszawskiej w poł. XIX w.- lista wł. prywatnych cz. 3|tytuł=Janusz Stankiewicz.Genealogia,przodkowie,badania genealogiczne,forum dyskusyjne|data=|url=http://www.stankiewicze.com/index.php?kat=22&sub=201|cytat=Grojec Wodziński}}</ref>. Ostatnią przedwojenną właścicielką majątku Grójec była Teresa Sojecka<ref>{{Cytuj|autor=|rozdział=Włocławek|tytuł=Europa w Rodzinie-Spis majątków ziemskich|data=|url=http://ziemianie.pamiec.pl/pl/majatki/wa.html|cytat=Sojecka Teresa Grójec}}</ref>.
