Zgodbo o nekdanjih zapornikih pripovedujejo izvirni predmeti in različno dokumentarno gradivo, pa tudi pričevanja tamkajšnjih političnih zapornic in zapornika, ki je skušal pobegniti prek meje in je bil zaprt v brestaniški sprejemni postaji. Ker pa je tako ohranjenega dokumentarnega gradiva kot zaporniških zgodb preveč, bo del teh v sklopu stalne razstave na voljo v elektronski obliki. Delovanje kazenskih ustanov na gradu podrobneje predstavlja tudi razstavni katalog.

Grad Rajhenburg so po razpustu meniškega reda trapistov leta 1947 nacionalizirali. Ko je leto pozneje stavbo prevzelo takratno Ministrstvo za notranje zadeve, je v njem bivalo 27 rudarskih družin in nekaj zaposlenih na nekdanjem samostanskem posestvu. Zanje so poiskali nadomestna stanovanja, grad pa začeli preurejati v kazensko ustanovo. Najprej je imel tam prostore Kazensko poboljševalni dom (KPD) za ženske, v katerega so premestili obsojenke iz gorenjskih Begunj. V grajski stavbi so uredili 37 sob s 628 posteljami. Preuredili so tudi stavbi pred gradom za potrebe uprave, v neposredni bližini gradu pa začeli graditi miličniški dom.

Največ političnih zapornic
Med zapornicami, ki jih je vlak v Rajhenburg pripeljal 30. junija 1948, so bile politične zapornice, obdolžene kaznivih dejanj zoper ljudstvo in oblast, zoper splošno ljudsko premoženje in zadružno premoženje, zoper uradno dolžnost. Obdolžene so bile sovražne propagande, ovaduštva, vohunstva, pobegov čez meje z elementi sovražnega dejanja in podobno. Tri četrtine je bilo političnih zapornic, ena četrtina pa kriminalk, obdolženih različnih kriminalnih dejanj. V KPD-ju Rajhenburg so bile zaprte tudi na političnih procesih obdolžene zapornice, najbolj znana med njimi Angela Vode.

KPD za ženske na Rajhenburgu so ukinili leta 1956 in nato tam ustanovili KPD odprtega tipa za moške obsojence. Tega so leta 1959 ukinili in ga nadomestili z organiziranim delovnim naseljem KPD Dob z režimom odprtega tipa.

Na ekonomiji Bohor so gospodarili do leta 1963, na Rajhenburgu pa so se nato do leta 1966 zvrstili še taborišče za madžarske begunce, sprejemna postaja Brestanica in zvezni zbirni center jugoslovanskega ministrstva za notranje zadeve, ki je deloval na gradu do vključno aprila 1966.