Egy 1748-as bejegyzés alapján a kastély helyén egykor egy udvarház állt, amely a mai műemléképület elődjének tekinthető. A Tholdalagi-kastély az 1890-es években épült barokkos, klasszicista stílusban. A földszinti és manzárdos elrendezésű oszlopos homlokzatú kastély építtetője a nagyercsei Toldalagi (I.) Zsigmond (1766-1847) volt. (I.) Zsigmondnak ott született legnagyobb leánya, Katalin (1800-1860) és egyik fia, (VII.) Mihály (1817-1876) is. Gr. Tholdalagi Mihály és bethleni gr. Bethlen Johanna (1825-1909) legnagyobb gyermeke gr. Toldalagi (II.) Zsigmond (1847-1894) volt, akinek nevéhez kapcsolódik a kastély átépítése. Ugyancsak a nyárádszentbenedeki birtokon lakott Toldalagi Tibor (1854-1919) és Toldalagi Erzsébet (1861-1942) is. A kastélyon többször is végeztek átalakításokat, utoljára gr. Toldalagi (II.) Zsigmond (1847-1894) megrendelésére történtek építkezések. A kastélyt a második világháború alatt kifosztották, berendezési tárgyait széthordták. A kommunizmus éveiben a helyi állami mezőgazdasági vállalat székhelyéül használták, a rendszerváltás után a belga testvértelepülés vásárolta meg.

A Toldalagi-kastély eredetileg szabályos téglalap alaprajzú épület volt, hatalmas manzárdtetővel. Főhomlokzatát oszloposra képezték ki, négy szép toszkán oszlop mögött kis tornác húzódik, középen a bejárati ajtóval, két oldalán egy-egy ablakkal. A kastély, magas megtört tetőzetével és homlokzati kiképzésével, barokkos, klasszicista stílusban készült. A szabályos téglalap alaprajzú épülethez toldották a hátranyúló épületszárnyat, így vált L alakúvá az épület. A kastély korhű bútorokkal volt berendezve, a falakon kiváló mesterek portréképei függtek. A nagyszalonban sok értékes és díszes ötvösmunkát tartottak.

Napjainkban a falu által bejegyzett alapítvány tulajdonát képezi az épület, melynek két kisebb helyiségében a település néprajzi gyűjteményét helyezték el. A közelmúltban tervbe vették a leromlott állapotban lévő kastély felújítását.