A középkori alapítású kolostor jelentõségét mutatja, hogy innen alapították a rend elsõ Magyarországon kívüli kolostorát, Európa egyik legismertebb zarándokhelyét, a lengyelországi Jasna Gora-i Szûz Mária kegyhelyet.

A Szûz Mária tiszteletére épült kolostort számos birtokkal ellátva Nagy Lajos király alapította 1352-ben. 1382-ben e kolostor 16 szerzeteseivel alapította Nagy Lajos király unokaöccse, Opuliai László herceg a rend elsõ Magyarországon kívüli kolostorát, a lengyelországi Czêstochowát.

A márianosztrai pálosok kolostora 1543-ban szûnhetett meg, 1548-ban szerzetesei már az elefánti kolostorban laktak. A XVI. században elnéptelenedett kolostor valószínûleg a század 70-es éveiben válhatott romossá.

Az erõdített kolostoregyüttes egyetlen fennmaradt alaprajzi ábrázolása 1694-bõl származik, egy térképen szereplõ ábrázolás szerint a templomnak és a kolostornak a tömbjét téglalap alakban egyenes fal övezte, amelybõl a déli oldalon két félköríves bástya és egy szögletes kaputorony ugrott elõre. A templom mai formáját az 1718-1721 közötti, barokk stílusban való újjáépítésekor kapta.

Az egyhajós templom sokszögzáródású szentélye megõrizte középkori jellegét: terét csúcsíves keresztboltozat fedi, gazdagon díszített zárókövei feltételezhetõen eredetiek. A templom tornya eredetileg a hajó és a szentély találkozásánál épült. Az északról csatlakozó sekrestye is középkori alapokon nyugszik.

A jelenlegi templom hajójának mérete, arányai valamint az oldalán kialakított mély kápolnák nem tekinthetõek tipikus barokk megoldásnak, feltételezhetõen a középkori alapokhoz igazodtak, és az átjárónyílásokkal áttört, mélyen benyúló pillérek alkotta „ál-háromhajós” modellt sejtetik.

1786-ban II. József feloszlatta a szerzetesrendet. Ezt követõen a kolostor katonai raktár volt, kórház, majd 1854 óta fegyintézet. Elõbb nõi börtön, 1952 óta férfifegyház. Csak külön engedéllyel látogatható.