Ombygningen i 1975 – 76

I 1950’erne forværres klostrets økonomi, da de ældre/gamle blev meget plejekrævende, hvilket udløste flere ansatte, så driften og vedligeholdelsen af bygningerne gav underskud, og det udløste salg af klostrets resterende jordarealer, men det var kun ensgangsbeløb. Derfor udtænkte forstander Høffding i 1966, at der udarbejdedes en plejehjemsfløj, men det blev opgivet bl.a. af økonomiske grunde.

I 1970 blev Svend Elming forstander, og han skulle påtage sig opgaven med at redde klostrets fortsatte eksistens som stiftelse. Brandmyndigheder stillede store krav til brandsikring og brandtrapper i bygningerne, og indretningen og bygningernes funktion var ikke i en nutidig stand. 

Klostrets arkitekt opmålte alle bygninger i 1973. I 1973 gik det op for offentligheden, hvor ringe det stod til med klostrets økonomi og bygninger, som udløste en polemik i pressen. Der blev udarbejdet et skitseprojekt for klosterbygningerne og klosterforstanderboligen, Sct. Mogens Gade 12, og Sct. Mogens Gade 18B, som klostret i 1973 havde købt til udvidelse af klostret med flere lejligheder. Ombygningsprojektet blev prissat til 1.8 mio. kr. Projektet var for dyrt og blev reduceret, og Sct. Mogens Gade 12 og 18B blev solgt til private.

Da de finansieringsmæssige forhold kom på plads, gik ombygningsarbejderne  i gang i 1975 til de 8 nye 2- og et-værelseslejligheder, samt en ny brandredningstrappe i jernbeton, der skulle føres igennem alle etager til tagetagen.

Restaureringsarbejdet blev nøje overvåget af Viborg Stiftsmuseums arkæologer, og  af Statens særlige Bygningssyn. Til alles overraskelse viste det sig muligt, at rekonstruere et senmiddelalderligt rum, som havde været en del af kong Christian den III’s recidens. Kongen havde i ca. 1530 opført en tilbygning og ombygget munkenes udløberfgløj med to rum i stueplan og en dansesal på 1. sal. Viborg er i dag den eneste by her i landet, der kan fremvise et et sådan rum. Ved etableringen af Kongens Kammer blev antallet af lejligheder reduceret til 7 lejligheder, men Viborg Kommune betaler en kompensationsleje for den manglende lejlighed.​