Bohužel klášter od počátku provázela smůla. Čtyři roky po jeho výstavbě vyhořel, v době husitských válek byl dokonce zničen, a i když tehdejší opat všechny cennosti ukryl na zřícenině hradu Příběnice, hrad byl dobyt a s ním byly zničeny i všechny cennosti.

V 15. století klášter vlastnili Rožmberkové, po nich Švamberkové. V 16. století Kryštof ze Švamberka klášter prodal pánům z Hodějova, kteří začali klášter opravovat a udělali si z něj letní sídlo. Po Bílé hoře byl pánům z Hodějova zkonfiskován majetek, včetně Milevského kláštera. Klášter byl zpustošený a okolní vesnice opuštěné a podle slov kronikáře v Milevsku vše zelo chudobou, bídou a lidským pláčem.

Avšak začalo se blýskat na lepší časy. Císařským rozhodnutím byl klášter přidělen premonstrátskému klášteru na Strahově a opět začala další snaha o znovuobnovení původní slávy kláštera, která trvá dodnes.

Dnes v dolní částí sídlí charita, v prvním patře ve velkém sále se pořádají přednášky a výstavy, v druhé místnosti je trvalá expozice barokní knihovny s knihami zapůjčenými ze Strahova.