Predecesorul castelului este conacul András din secolul al XV-lea, primul corp fiind construit în 1450. Reședința nobiliară a fost modificată și reconstruită de mai multe ori în secolele XVI-XVII. Una dintre aceste lucrări a fost făcută de Lázár János, atestată de o placă care datează din 1532. Conform tradiției, Bethlen Gábor și-a petrecut copilăria în acea clădire.
Conacul Paget este o clădire uriașă, cu formă asimetrică, azi, fără ornamente. Partea centrală, un turn robust, dreptunghiular, are trei etaje. Odinioară, ultimul etaj avea câte două geamuri semicirculare cu vedere spre curte, iar pe cealaltă parte câte un singur geam semicircular. Turnul era flancat de câte o aripă a clădirii, cea dinspre stânga fiind mai mare, o aripă în formă de L, puțin mai înaltă decât restul clădirii.
Conacul a fost restaurat în anul 2005 în vederea amenajării camerei meoriale ale lui Kazinczy Ferenc, înnoitor de limbă și cea a cântărețului Fráter Lóránd „căpitanul muzician”. În 2008, în incinta conacului s-a amenajat camera memorială a lui Csiha Kálmán, episcopul reformat care a fost sclav pe timpul comunismului. În camerele neutilizate s-a amenajat un muzeu de istorie locală.
În a doua jumătate a secolului al XVIII-lea, prin cumpărare, localitatea intră în posesia familiei Brukenthal. Primul castel a fost construit, cel mai probabil, la jumătatea secolului al XVIII-lea, acesta fiind modificat în prima jumătate a secolului al XIX-lea de către Iosif (I) Brukenthal, vărul mai mic al guvernatorului.
Castelul Missics din secolul al XIX-lea funcționează astăzi ca muzeu. Sunt expuse colecţiile de artă ale Eleonorei Costescu şi Vasile Varga, alcătuite din picturi românești moderne, picturi din şcolile italiene, flamande, engleze, franceze, ungare, piese de artă decorativă (argintărie, porţelan, sticlă, mobilier).
Clădirea modestă conține decorațiuni din tencuială, cele mai pronunțate fiind pietrele de la întărirea colțurilor. Cel mai interesat element al castelului îl reprezintă fereastra istoricizantă, semicirculară, cu una sau cu două compartimente, a turnului cu acoperiș piramidal.
Castelul Daniel din Vârghiș se află pe locul conacului inferior al familiei. Castelul cu sculpturile renascentiste (perioada târzie), ornamentele baroce și extinderile clasiciste reprezintă una dintre cele mai spectaculoase monumente ale regiunii Baraolt. Ansamblul de clădiri, situat pe axa longitudinală est-vest, este înconjurat de un gard de piatră, intrarea făcându-se prin poarta situată în direcția nord-est. În partea de sud se poate observa parcul imens, cât și fațada care cuprinde emblemele castelului.