Het oorspronkelijk gebouwde huis werd door Zeger van Rechteren (1623 - 1674) afgebroken en vervangen door een geheel nieuw huis.
Eind 1652 was dit gereed voor bewoning. Dat was het huis zoals dat er nu staat.
Het is weliswaar in 1665 door de bisschop van Munster en zijn troepen geplunderd en in brand gestoken, maar het werd in 1666, direct na het vertrek van de vijandelijke troepen, weer naar hetzelfde plan herbouwd.
Er zijn daarna verschillende verbouwingen geweest. De jaartallen 1778 en 1883 getuigen hiervan in de voorgevels van de vleugels.
In 1883 liet Adolf Hendrik, graaf van Rechteren Limpurg, het huis verbouwen waarbij de gehele ingangspartij naar voren werd uitgebouwd.
De zandstenen hekpijlers zijn in 1884 geplaatst, en zijn afkomstig van de ingang van het kerkhof rond de Grote Kerk, dat in 1830 werd gesloten.
Het kasteel is tot op de dag van vandaag in handen van de familie Van Rechteren Limpurg.