Istoria castelului poate fi împărțită în șase etape. Prima amintire scrisă datează din 1580, amintind de conacul nobil al familiei Daniel. Cel mai probabil, cele mai antice părți ale clădirii datează tot de la sfârșitul sec. XVI, deoarece cele două încăperi ale clădirii principale, cât și subsolul acestora, diferă în grosime. A doua etapă de construcție, conform lui Keöpeczi Sebestyén József, datează din 1646, fapt atestat și de tabloul din piatră cioplită care poartă emblema familiei Daniel.

Castelul s-a degradat în timpul invaziei tătare din 1661, iar în timpul cruciadelor purtate de lobonți, castelul a suferit și mai multe ravagii. Lucrările de restaurare din 1723 erau atestate de un tablou din piatră cioplită, despre care Orbán Balázs amintește în publicația c. a operei sale intitulate Descrierea Ţinutului Secuiesc .A treia etapă a lucrărilor de construire se consideră a fi realizate la începutul sec.XVIII. Proprietarul de pe vremea aceea, Daniel István (1684-1774), a construit loggia clădirii principale, o loggie renascentistă, aflată pe stâlpuri de susținere, ornamentate cu frunze de acanta, pe care apărea inscripționat anul 1745, respectiv emblema și numele lui Daniel István și a soției sale, Pekry Polixénia. La sfârșitul sec.XVIII, Daniel Elek (1759-1812) a efectuat alte modificări asupra edificiului. În 1797 s-a finalizat aripa castelului cu patru camere la subsol și tot atâtea la etaj, și tot atunci și-au găsit locul sculpturile renascentiste.

Cu ocazia celei de a patra etapă a lucrărilor de reconstrucție, în anul 1853, din inițiativa lui Daniel Gábor (1824-1915), s-a construit aripa de nord a castelului, în stil clasicist. Între 1920-1922, în cea de-a cincea etapă, s-au efectuat modificări pe scară largă. Proprietarul de pe vremea aceea, Daniel Ferenc (1887-1976), a atașat un turn rotund  la aripa din sud-vest. Ultima restaurare s-a realiat în anul 1937, când dupa planurile arhitectului Keöpeczi Sebestyén József, s-a construit clădirea atașată la partea de vest a aripii castelului, respectiv prispa neorenascentista dinspre curte. Restaurarea ansamblului de clădiri s-a realizat în anii 1575, 1650,1703,1853 și1937. În 1949 castelul s-a naționalizat și a fost transformat în sediul întreprinderilor agricole de stat. Castelul a fost restaurat între anii 1981-1984, după care a găzduit sediul Primăriei Vârghiș și sediul de poliție al comunei.

Cea mai veche parte a ansamblului, cele două încăperi cu pereți mai groși ale clădirii principale, sala cu tavan plan și încăperea prevazută cu bolta casetată, dateaza de la secolului XVI. În sec. XVII, conacul s-a mărit cu mai multe încăperi, pe partea vestică. Probabil, tot atunci s-a construit și coridorul de apărare situat în partea de nord, astăzi fiind încorporat în blocul clădirii. Un ancadrament situat pe fațada sudică, prezintă emblema familiei, o lebădă, săgetată prin gât, împreună cu inițiala D și inscripția anului 46', face deasemenea referire la o construcție ulterioară.Cel mai spectaculos element structural al castelului îl constituie porticul cu arcade situat în partea de sud.

Arcadele loggiei, acoperite cu bolți în cruce, se sprijină pe stâlpi de andezit roșu, ornate cu motive vegetale, respectiv pe mijlocul stâlpilor, cu coronament arcuit. În prezent, loggia se află între rezalitele în stil baroc din colțurile clădirii principale. Pe fațada sudică a clădirii istorice se pot observa piese sculptate în stil renascentist (perioada târzie).

În 1797 se realizează aripa etajată a palatului și acoperisul mansardat al clădirii principale. Cele două cadre de uși, aflate la parterul aripei, amintesc de sculpturile renascentiste (perioada târzie). Pe pervazul sculptat în stil renascentist, aflat în partea dinspre grădină, se observă inițiala D și inscripția anului 1650. Între ferestrele în formă de arc ale etajului s-a zidit un blazon cioplit din gresie care poartă inscripția anului 1745 și blazonul dublu Daniel-Pekry, cu ornamente vegetale.

În prelungirea colțului aripii sud-vestice a castelului, s-a construit un bastion rotund, care prezintă caracteristicile stilului clasicist. Un bastion rotund s-a atașat și la coltul nord-estic al aripii construite în stil clasicist, iar la nord o clopotniță. Din mobilierul original al castelului s-a păstrat doar un mic dulăpior, executat de Haáz Rezső, care în prezent se găsește în sala vânătorilor.

Drept de proprietate: după ce Daniel Ferenc și copii acestuia au solicitat restituirea castelului și a domeniului lor, clădirea a fost cumpărată de Consiliul Local al orașului Esztergom (Strigoniu), din Ungaria.