A Bánffy-család fugadi ága a XVIII. században alakult ki, amikor miután 1763-ban Tholdalagy Erzsébetet feleségül vette Bánffy János, így a birtok házasságon keresztül került a családhoz. A mai kastély elődje az 1700-as évek derekán épülhetett, de ezt teljesen átalakította br. Bánffy (VI.) Ferenc 1812-ben. Ezt az átépítést valószínűleg az 1784-es parasztfelkelés pusztításai tették szükségessé. A kastélyon még egy átalakítást végeztek 1937-ben is br. Bánffy (II.) Dániel és második felesége, zicsi és vásonkői gr. Zichy Mária Huberta megbízásából. 

A kastély kétszintes, manzárdtetős épület. Fő- és két oldalós homlokzata hasonló kiképzést kapott - úgy a földszinten, mint a manzárdrészen négy-négy barokkos keretelésű ablak található. A hátsó homlokzat földszinti részén az épület középtengelyében mellvédes, ión oszlopos bejáratot alakítottak ki, amelyen keresztül a gazdasági épületek irányából lehet megközelíteni a kastélyt. Az emeleti részen, kihasználva a domborzati viszonyokat, kissé szokatlan megoldással, egy hídszerű építménnyel kötötték össze a kastély manzárdszintjét és a gazdasági épületek fölött már elkezdődő kastélykertet. A gazdasági épületek az államosítás utáni időszakban fokozatosan tönkrementek. 

A kastélyban 1949 után sokáig iskola működött, a család hosszú pereskedés után 2004-ben visszakapta az épületet.