Původní klášter Nanebevzetí Panny Marie augustiniánského řádu založil zakladatel Ročova Albrecht z Kolovrat v roce 1373. Přestože za husitských válek utrpěl četné šrámy, po jejich skončení byl opět obnoven. Zničen byl v období třicetileté války v roce 1631 saskými vojsky při jejich vpádu do Čech. V letech 1647 – 1648 byl znovu obnoven.
V roce 1718 byl hlavně klášterní kostel přestavěn Italem Giovannim Santinim ve stylu barokní gotiky. Nedlouho poté, v roce 1745, byla stavba značně poškozena obrovskými průtržemi mračen, v důsledku čehož následovala další přestavba, jíž se ujal vynikající architekt své doby Kilián Ignác Diezenhofer hned v příštím roce. Po jeho smrti pokračoval ve stavbě neméně známý Anselmo Lurago, který stavbu dokončil v roce 1750. Vnitřní výzdoba je dílem významných umělci své doby, kupříkladu malíře Václava Vavřince Reinera nebo sochařem Františka Ignáce. V 50. letech 20. století zde byla zřízena věznice a poté kasárna. Po roce 1960 byl klášter sídlem dětské psychiatrické léčebny, která zde sídlila až do roku 1995. V devadesátých letech 20. století byl navrácen řádu sv Augustiniánů.