A kastély építéstörténete hat szakaszra osztható. 1580-ból származik az első írásos dokumentum, mely a Daniel család tulajdonában lévő nemesi udvarházat említi. A mai épület legkorábbi részei szintén a XVI. század végére tehetők, mivel a főépület két helyisége az alattuk levő pincékkel együtt eltérő falvastagságú. A második építési szakaszt, Keöpeczi Sebestyén József szerint az 1646-ból származó Daniel címeres kőtábla igazolja. Az 1661-es tatárdúlás idején a kastély megrongálódott, a labanc hadjáratok alkalmával még nagyobb pusztítás érte az épületet. Az 1723-as javításokról egykor egy feliratos kőtábla is tanúskodott, melyről Orbán Balázs A Székelyföld leírása c. könyvében tesz említést. A harmadik építési szakasz a XVIII. század elejére tehető. Akkori tulajdonosa Daniel István (1684-1774) készítette a főépület levelekkel díszített, karcsúsított oszlopokon nyugvó reneszánsz loggiát, amelyen az 1745-ös évszám, valamint Daniel István és felesége Pekry Polixénia címere és neve volt látható. A XVIII. század végén Daniel Elek (1759-1812) újabb átépítéseket végeztetett. 1797-ben készült el a palotaszárny négy földszinti és ugyanannyi emeleti szobával, és akkor kerültek mai helyükre a reneszánsz faragványok. A negyedik átépítés alkalmával, 1853-ban Daniel Gábor (1824-1915) megbízásából az északi oldal épületrésze készült el klasszicista stílusban. 1920-1922 között az ötödik szakaszban nagyszabású építkezés zajlott, a kastély akkori tulajdonosa Daniel Ferenc (1887-1976) kőrbástyát csatoltatott a délnyugati szárnyhoz. A hatodik átépítéskor 1937-ben, Keöpeczi Sebestyén József tervei alapján készítették el a palotaszárny keleti részéhez csatolt épületrészt, valamint az udvar felőli neoreneszánsz tornácot. Az épületegyüttes javítási évei: 1575, 1650, 1703, 1853, 1937. 1949-ben a kastélyt államosították és az állami mezőgazdasági vállalatot költöztették az épületbe. 1981-1984 között a műemléképületet restaurálták, ezt követően a vargyasi néptanács és egy ideig a helyi rendőrőrs székhelye volt.

A kastély a vargyasi Daniel család alsó udvarházhelyén található. Az épület késő reneszánsz faragványaival, barokkos díszítéseivel, valamint klasszicista bővítéseivel Erdővidék egyik leglátványosabb műemléke. A kelet-nyugati irányú hosszanti tengelyre fűződő épületegyüttest, zömök kőkerítés övezi, amelyen az északkeleti irányban levő kapun át lehet bejutni a kastély udvarába. A déli oldalon látható a hatalmas park és megszemlélhető az épület címertani jellegzetességeit felmutató homlokzat is. A kastély legkorábbi, XVI. századi részei a főépület két vastagabb falú helyisége, a síkmennyezetes terem, valamint a fiókos boltozattal ellátott lakrész. Az udvarházat a XVII. században több helyiséggel bővítették nyugati irányban, ugyanakkor készülhetett el az északi oldalon húzódó védőfolyosó is, melyet később befalaztak az épület tömbjébe. A déli homlokzaton lévő töredékes, csavart pálcataggal díszített címerkő, a pajzsba foglalt átlőtt nyakú hattyúval, a D iniciáléval és a 46-os évszámmal szintén egy későbbi építkezés nyomaira utal. A kastély leglátványosabb szerkezeti eleme a déli árkádos tornác. A keresztboltozatokkal fedett loggia árkádívei vörös andezit pillérekre támaszkodnak, melyeket növényi motívumok, valamint a pillérek közepén gyűrűs tagozat díszít. A loggia ma a főépület sarkainál előreugró, háromkarájos oromzatú barokk rizalitok között található. A műemléképület déli homlokzatán késő reneszánsz faragványok láthatók. A kastélyt az 1797-ben épült emeletes palotaszárny egészíti ki, ugyanabból az időből való a főépületen látható manzárdtető is. A palotaszárny földszintjén levő két faragott ajtókeret késő reneszánsz faragvány emlékét őrzi. Az épületrész kerti lejárójának a szemöldökkövét alkotja az egykori kétosztatú reneszánsz faragott ablakkönyöklő, melyen D kezdőbetű és az 1650-e évszám olvasható. Az emelet szegmensíves ablakai között egy nagyméretű, homokkőből készült címer látható befalazva. Az 1745-ös évet viselő címeres faragvány, a Daniel-Pekry kettős címer többszörösen hajlított, növényi ornamentikával van díszítve. A főépület északi oldalához és a palotaszárny délnyugati sarkához egy emeletes körbástya van csatolva, mely a klasszicista épületformálás jellegzetességeit tükrözi. A klasszicizáló szárny északkeleti sarkához szintén egy kör alakú bástya csatlakozik, a nyugati irányban pedig egy haranglábas rész is látható. A kastély eredeti berendezéséből csupán a Haáz Rezső által készített kis faliszekrény maradt meg, mely jelenleg a vadászteremben található.

Tulajdonviszony: Miután Daniel Ferenc gyermekei a kastélyt és a hozzá tartozó birtokot visszaigényelték, 2005-ben Esztergom Város Önkormányzata vásárolta meg az épületet.