A Torockói-medence egyik legjelentősebb településén, Toroczkószentgyörgyön telepedett le az Ákos-nemzetségből származó Toroczkay család. A torockói várban élő család a 16. századtól kezdett a környező településeken udvarházakat építeni. A 18. században a három ágra szakadt család három kúriát birtokolt a megyében, melyek közül mára egyedül a torockószentgyörgyi maradt fenn.

Az épület magját kétsoros elrendezésű, hat helyiség és a főhomlokzat elé ugró oszlopos tornác alkotta. A 19. század második felében a keleti, utca felőli oldalon újabb helyiséggel bővítették. Ezzel közel azonos időben épülhetett a főhomlokzattal szemben található melléképület, illetve az épület mögött található kert is. 

Az épület 1949-ig az államosításig maradt a család tulajdona. Ettől kezdve újabb átalakításokkal üdülőnek, majd gyermekszanatóriumnak használták az épületet. 1996-ban került vissza a Rudnyánszky családhoz, akik azt azonban 1998-ban eladták az unitárius egyháznak.