Hiteles története a 18. századba nyúlik vissza. 1731-ben egy Traub János nevű legény a budakeszi határában fekvő szőlőkbe igyekezett. Egy útszéli tölgyfánál a szenvedő Krisztus arca jelent meg előtte. Traub később beteg lett. Csodás gyógyulása után egy Falconeri nevű olasz származású budai festőtől olajfestményt vásárolt, mely a Gyermekét tápláló Szűzanyát ábrázolta. A képet az említett tölgyfára függesztette.
    Hamarosan sokan kezdték látogatni ezt a helyet. Acsádi Ádám veszprémi püspök kivizsgáltatta az eseményeket és engedélyezte, hogy a szentképet nyilvános tiszteletben részesítsék. A zarándokok adományaiból kicsi kápolna épült a Máriakép fölé. Gondozására a közelben élő két remete vállalkozott. A fokozódó érdeklődés eredményezte, hogy az Óbudán működő Trinitárius szerzetesrend itt szép egytornyú templomot és egy kis kolostort épített.
     A Trinitárius Rend: „A Fogolykiváltó Szűzanya Szentháromságról nevezett Rendje" a török harcok idején egész Dél-Európában fogságba esett keresztények kiváltásán fáradozott. Pénzt gyűjtöttek erre a célra. A Rend története azonban mintegy kilencezer olyan szerzetesről is tud, aki saját magát cseréltette ki egy-egy hadifogolyért.
     Koller Ignác veszprémi püspök 1768-ban szentelte fel a templomot tízezernél is több zarándok jelenlétében: A templomban elhelyezték a tölgyfa törzsét és a kegyképet. Rövid időn belül 50 csodálatos gyógyulás és imameghallgatás történt itt a Szent Szűz közbenjárására.
     A virágzó Mária-kegyhely azonban nem sokáig működhetett. II. József császár 1784-ben a fogolykiváltók Rendjét is feloszlatta és a templomot bezáratta. A kegyképet és a fatörzset a budakeszi plébániatemplomba vitték le, és itt megőrizték. A kolostor és a kegytemplom világiak kezére került és néhány évtized alatt rommá lett.
     Az első világháború alatt Miller József budakeszi plébános a templomromot a hozzátartozó kolostorral együtt az egyház számára visszavásárolta.
     A második világháború előtt néhány évvel a Fájdalmas Szűzanya tiszteletére alapított Szervita Rend papjai kezdtek újra szentmisét mondani vasárnapokon és Mária-ünnepeken a romokból összeállított kis kápolnában, a mai gyóntatófolyosó helyén. A világháború alatt és után mind többen jöttek ide hadifogoly hozzátartozóikért imádkozni. Meghonosodott a Fogolykiváltó Boldogasszony tisztelete.
     A hívek adományaiból és munkájából a szervita atyák néhány év alatt felépítették a jelenlegi templomot, melyet 1950-ben Shvoy Lajos székesfehérvári püspök szentelt fel. Újra elhelyezték a plébániatemplomban megőrzött fatörzset és kegyképet, a kegyoltár mögött illetve fölött.
     A szerzetesrendek felosztása kapcsán 1950-ben távozni kényszerült szervita atyák helyébe az egyházmegye keretébe felvett P. Tamás János jezsuita atya lett a kegytemplom vezető lelkésze. 33 esztendőn át végezte a kegyhely fejlesztésével járó igen áldozatos munkáját. Jelenleg a kegytemplomot a Domonkos Rend működteti.
     A kegytemplomban ez idő szerint is a „foglyokért" imádkozunk a Fogolykiváltó Szűzanyához. A kábítószeresekért, alkoholistákért, a testiség-, a szerencsejátékok- és minden más káros szenvedélyek rabjaiért. Azokért is, akik szenvednek miattuk (családjaik...); akik felszabadításukért fáradoznak; a fiatalokért is, hogy bölcsen, erős akarattal kerüljék a szenvedélyek csapdáit. Imádkozzunk rendszeresen otthonunkban, templomunkban is ezekre a szándékokra!
     Fogolykiváltó Szűzanya - esedezz népünkért!