Constructorul castelului, contele Zsigmond Toldalagi al II-lea (1847–1894) a fost fiul cel mai mare a contelui Mihály Tholdalagi şi a contesei Johanna Bethlen (1825–1909). Tot pe moşia din Murgeşti au trăit şi Tibor Toldalagi (1854–1919) şi Erzsébet Toldalagi (1861–1942). Castelul a fost reconstruit de mai multe ori, ultimele modificări fiind făcute de Zsigmond Toldalagi II. (1847–1894). Castelul a fost jefuit în timpul celui doilea război mondial. În timpul regimului comunist a devenit sediul Gospodăriei Agricole de Stat, iar după schimbarea regimului a fost cumpărat de oraşul înfrăţit belgian.

Castelul Toldalagi a fost iniţial o clădire cu plan dreptunghiular, cu o mansardă uriaşă. Faţada principală a castelului a fost construită cu coloane, între patru coloane toscane se află o prispă mică, cu intrare la mijloc şi câte o fereastră pe laturile exterioare. Castelul a fost construit în stil clasicist, având şi câteva caracteristici ale arhitecturii baroce. Clădirea cu plan dreptunghiular a fost extinsă cu o aripă în plan orizontal, aşa s-a ajuns la forma actuală, o clădire în formă de L. Castelul a fost mobilat cu mobile de epocă, iar pereţii casei au fost împodobiţi cu portretele unor mari maeştri. În salonul castelului erau prezentate obiecte de orfevrărie de foarte bună calitate. În prezent, clădirea aparţine unei fundaţii locale, două încăperi mai mici găzduiesc colecţia etnografică a satului. Mai recent au fost luate măsuri şi pentru restaurarea castelului.