A 19. században az épületet neogótikus stílusban átalakították, a későbbiekben még többször is végeztek átalakításokat. Az építkezések br. Bálintitt (II.) József (1851-1922) megrendelésére történtek. A 20. század elején Bálintitt György, (II.) József egyik fia volt a tulajdonos. Korai halálát követően a birtokot öccse, Károly (1883-1943) vette át. Ő br. Feilitzsch Mária-Olgát vette feleségül, első gyermekük ifj. Károly (1911-) volt az ernyei kastély utolsó tulajdonosa. 1946-ban a kastélyt átalakították, az északi szárnyat lebontották, így vált L alakúvá az épület. Az államosítás után, 1954-ben a község általános iskoláját rendezték be az épületben.

Az egyszintes kastély alaprajza eredetileg U alakú volt, az átépítések következtében azonban L alakú lett, és elveszítette eredeti, szimmetrikus kiképzését. Főhomlokzatának bal oldali sarkát jelentősen átépítették: kétszintessé bővítették, és az emeleten egy öntöttvasból készült, konzolos erkély is helyet kapott. Az ablaknyílások egykor félkörívűek voltak, de a későbbiek során átalakították. A homlokzatokat főpárkány, az ablakkereteket könyöklő és szemöldökpárkányok díszítették. Az erkélyt tartó vaskonzolokat az átalakításkor nem szedték ki a falazatból. A kastélynak 18 szobája volt, a két dór oszlopos szépen berendezett szalonban az ősök arcképeit helyezték el. Az épületben őrizték egykor a kiváló magyar humanista, Kovacsóczy Farkas kancellár levéltárát és értékes könyvtárát. A könyvtár kb. 15000 könyvet tartalmazott: magyar, német, francia és angol nyelvűeket, ugyanakkor sok régi orosz író műveit is, német fordításban.

A kastély előtti domboldalon terült el a nagyméretű park, melynek maradványai az egykori halastóval ma is jól láthatók. A nagy kiterjedésű, fákkal és virágokkal díszített park tavát csónakázásra is használták. A kertből a kastélyba vezető íves út a veranda előtti lépcsőfeljáróig tartott. A kastély előtt, baloldalt jegenyefák sorakoztak, amelyek a korra jellemző angolkertek mintájára voltak kialakítva. Az egykori gyönyörű parkban két virágház is épült, ugyanakkor egy kis és egy nagy csorgója is volt. A kastélyparkot Bálintitt György létesítette, melyből mára azonban már csak néhány öreg fa sejteti egykori képét, a halastó pedig elláposodott.

Tulajdonviszony: a kastélyt a rendszerváltás után visszaszolgáltatták a családnak, ahol már csak az óvoda működik. Az épület állapota elfogadható, a park azonban már csak kevésbé emlékeztet az egykori díszes kastélykertre.