Jest synem aktora [[Daniel Olbrychski|Daniela Olbrychskiego]] i [[Monika Dzienisiewicz-Olbrychska|Moniki Dzienisiewicz-Olbrychskiej]].
Ma dwóch synów, Jakuba (ur1992-2020<ref>{{Cytuj |url= https://www.telemagazyn.pl/artykuly/dramat-w-rodzinie-olbrychskich-nie-zyje-jakub-olbrychski-syn-rafala-wnuk-daniela-olbrychskiego-mial-28-lat-80273.html 1992|data = 2020-03-16 |data dostępu = 2020-03-16 |tytuł=Dramat w rodzinie Olbrychskich. Nie żyje Jakub Olbrychski - syn Rafała, wnuk Daniela Olbrychskiego. Miał 28 lat}}</ref>) i Antoniego (ur. 1993) z pierwszego małżeństwa<ref>{{Cytuj | url=http://www.fakt.pl/Olbrychski-Tata-zepsul-mi-dziecinstwo,artykuly,41875,1.html | tytuł=Olbrychski: Tata zepsuł mi dzieciństwo | opublikowany=www.fakt.pl | język=pl | data dostępu=2017-11-26}}</ref>. Jest mężem prezenterki telewizyjnej [[TV4 (polska stacja telewizyjna)|TV4]] Ewy Olbrychskiej<ref>{{Cytuj | url=http://rozrywka.dziennik.pl/artykuly/218076,rafal-olbrychski-wmawiaja-mi-rozwod.html | tytuł=Rafał Olbrychski: Wmawiają mi rozwód | opublikowany=rozrywka.dziennik.pl | data dostępu=2017-11-26}}</ref>.
