Conform tradiției, la Galda de Jos a fost înmormântat Simon, moștenitor al domeniilor Kemény, care a avut o moarte eroică. Pe vremuri, în sec. XVII, pe locul castelului se afla un conac, care, cel mai probabil, a fost construit în stil renascentist și a cărui ziduri de protecție sunt vizibile și azi în parte de est a castelului. Din clădirea veche s-a păstrat doar un mic bastion și anexa acestuia. Se presupune, că conacul inițial s-a construit la începutul secolului XVII de către tatăl domnitorului  János Kemény, Boldizsár Kemény și de fiul acestuia, Simon, ei fiind aproape de centrul de factură renascentistă, Alba Iulia.

La etajul fațadei posterioare, după fiecare a doua fereastră, se observă rezalite în stil baroc. La etajul unei fațade laterale s-a construit un pridvor cu barieră din fier forjat, care se sprijină pe doi stâlpi dreptunghiulare. În Primul Război Mondial, țăranii români au demolat majoritatea castelului, astfel, după război, baronul Árpád Kemény (II.) (1867-1941), a vândut castelul avocatului Albini Aurel, persoană care, timp de două decenii, a fost și primarul Aiudului. Mai târziu, baronul și-a vândut și terenurile, agricultorilor din Teiuș.

După naționalizare, în castel s-a mutat Gospodăria Agricolă de Stat, după care, un timp scurt, a găzduit prizonierii politici aflați în captivitate în Aiud. Astăzi, în incinta castelului funcționează un spital de psihiatrie. Lângă castel, psihiatria a construit și alte clădiri noi, moderne. O solicitare de restituire a castelului s-a depus de către moștenitorii avocatului Albini Aurel.