Takrat je pripadal Pilštanjskim grofom, a je skozi zgodovino zamenjal veliko lastnikov. Njegova lastnica je bila tudi sveta Ema iz Pilštanja, ki je bolj poznana kot sveta Hema Krška. Grof Tattenbach je v 16. stol. grad preuredil v renesančnem slogu in dal zaradi nevarnosti turških vpadov izkopati obrambni jarek. Leta 1658 je grad kupil zagrebški baron Ivan Zakmady in ga kmalu začel preurejati v samostan. Leta 1663 pa ga je podaril pavlinskim menihom iz Lepoglave na Hrvaškem.

Pavlinci so v gradu živeli 120 let, ves ta čas pa so grad temeljito preurejali. Zgradili so čudovito cerkev, katere oltar je posvečen Mariji Vnebovzeti in je eden najlepših baročnih oltarjev v Sloveniji. Leta 1782 je avstrijski cesar Jožef II. ukinil samostan, redovniki pa so se razkropili po samostanih na Hrvaškem.

Nekdanji pavlinski samostan so leta 1805 kupili grofje Attemsi, ki so ostali lastniki gradu do konca druge svetovne vojne. Zaradi visokih davkov na površino streh in število oken so dali porušiti severni in vzhodni del gradu. Po koncu druge svetovne vojne je bil grad podržavljen, trenutno pa je v postopku denacionalizacije.
Leta 1974 je močen potres precej poškodoval grad, a so ga s pomočjo župljanov, države in občine temeljito obnovili. Nekatera obnovitvena dela še potekajo, končana pa naj bi bila v nekaj letih.

V samostanu se je pogosto zadrževal tudi Anton Martin Slomšek, ki je imel leta 1824 tam tudi svojo novo mašo.

Manjši bratje svetega Frančiška ali minoriti so leta 1999 znova oživili samostan, župnijo in Marijino svetišče pa so oskrbovali že od leta 1990.

Pavlinski menihi so se ukvarjali tudi z zdravilstvom. V njihovih pravilih je bilo zapisano, da mora imeti vsak samostan sobo za bolne brate in lekarno z zdravili. Lekarna, ki so jo uredili pavlinci, je tretja najstarejša redovniška lekarna v Evropi. Njena oprema se ni ohranila, lahko pa si v prostorih lekarne ogledate Lerchingerjeve freske iz leta 1780 s svetopisemskimi motivi.

Minoriti, ki zdaj skrbijo za samostan, so si pred gradom uredili zeliščni vrt in čebelnjak, z veseljem pa na ogled samostana povabijo turiste in romarje.

Olimje ni znano le po zeliščni lekarni in samostanu. Če vas bo ta konec Slovenije pritegnil, obiščite še čokoladnico, ki je od samostana oddaljena le nekaj deset metrov. Najmlajše vabita čarovničina hišica in pravljična dežela, ljubitelji dobre hrane in pijače boste lahko pokusili divjačinske dobrote in pivo iz domače pivovarne, za športne navdušence pa imajo igrišče za golf.

A. M.