A mai kastély elődjét 1482-ben Károlyi Láncz László kezdte el építeni, amikor Mátyás királytól engedélyt kaptak egy kőház építésére. 1592-ben az addigi négyszögletes épületet Károlyi Mihály erősítette meg a török elleni harcok idején. A kőépületet - mely ezidőtájt a végvár szerepét is betöltötte - bástyákkal, lőrésekkel, belső udvarral, valamint külső várfalakkal, mély vizesárokkal, és külső palisztráddal látták el. 1699-ben báró Károlyi Sándor alakította át újra díszesebb formába. 1794-ben gróf Károlyi József a régi várat lebontatta és helyébe Joseph Bitthauser tervei alapján építtetett új kastélyt, barokk stílusban. Az új kastély építése során lemondtak a védőrendszerről, és a belső tereket a lakók szükségleteihez alakították. A négyszintes épület háromszög alapú, dísztornyokkal, fedett belső udvarral és boltozatos pincével ellátott volt. Nagyméretű fogadótermét festmények és szobrok díszítették. 1894-ben gróf Károlyi István újból átalakíttatta a kastélyt Ybl Miklós tervei alapján; neogótikus-neobarokk stílusú héttornyos, árokkal körülvett lovagvárrá, melyet széles sáncárok vett körül. Az átalakítást Meining Arthur budapesti műépítő végezte.

A kapualjból előszobába, s abból nagyszabású átriumba juthatunk, melyet a méretek meghagyásával a régi négyszögletes várudvarból alakítottak át. Tágasságára jellemző, hogy "egy négyes fogat könnyen megfordulhatott volna benne". Innen vezet fel a lépcső az emeletre, és részben megmaradt az egykor nyitott boltíves folyosó is, melyből a felső szobák nyílnak. Az "átrium" egyik falán három nagy csúcsíves ablak található, mely az impozáns átriumot megvilágítja. Mennyezetét magyaros, tulipános mintájú faburkolat díszíti. Lépcsője két vörös márványoszlopon nyugszik, a lépcső és a folyosó karfáját egymás mellé sorakozó, gondosan esztergályozott orsós lábak alkotják. Két olasz márványkandallóját a család címeréből vett oroszlánok díszítik. Padozata mozaik. Az épület 1894 évi átalakítása után a kastély szobáinak fabútorzatát angol minta után Kinczel nevű helybeli asztalos, a lakatosmunkákat Ősz János nagykárolyi iparos készítette. Az átépítések történetét fekete márványtábla hirdeti az épület falán, melyet még Károlyi István építtetett be ide. A mai épület stílusa egységes eklektikus és szecessziós stílusú, értékét a XVIII. századi barokk elemek csak emelik.

A kastélyparkot már 1754-ben említették a leírásokban, "mint szép és híres udvari kert"-et, és a leírások említik a park "teknősbéka-tavát" is. A kertben ekkor velencei kőpadok, hatalmas virágtartók és a kastély egyik sarkánál pedig egy régies hangulatú velencei kút is állt. Szirmay Antal leírásában írta a kastély parkjáról: "az épületek nyugati oldalán anglius izlésre épített gyönyörűséges kert vagyon". A 12 hektáros parkjában több növényritkaság található. Fái közül egy 1810-ben ültetett platán a legidősebbnek tartott, melyet még gróf Károlyi György ültetett el 7 éves korában. A park szélén 33 m magas, 1888-ban épült romantikus stílusú víztorony áll, melynek helyén egykor híres sörház volt.

Tulajdonviszony: a kastély egy részében ma múzeum és könyvtár működik.