După regimul Habsburgic din Transilvania, castelul și domeniul au trecut prin mâna a mai multor proprietari, până când, în anul 1743 a ajuns în posesia guvernatorului Transilvaniei, Ioan Haller. Ioan Haller a efectuat numeroase lucrări de extindere a castelului. Atunci s-au construit „pavilioanele” atașate la colțurile clădirii cu un singur nivel, cu forma dreptunghiulară, care i-a determinat imaginea de azi. Tot în acea perioadă s-au realizat scările reprezentative, terasele bogat sculptate, ramele de ferestre stil rococo și ornamentele stuc din încăperile interioare. Odinioară, clădirea era înconjurată de o curte (inclusiv fântâni), un parc și o grădină, cât și clădiri anexe, din care au rămas foarte puține detalii autentice.

La sfârșitul sec. XIX casa a intrat în proprietatea orașului, un timp funcționând ca și sediu de județ, iar apoi, din 1934 ca și muzeu județean. Colecția de antichități a fost fondată de Societatea de Istorie și Arheologie a Comitatului Hunedoara, la care s-au adăugat și colecțiile de arheologie din perioada dacică și romană, descoperite în sec.XX.

Clădirea a fost restaurată între anii 1996-2006.