Im Jahr 1330 wurde Robbert van Blitterswijk vom Herzog von Brabant mit der Herrschaft belehnt.
Die Familie besaß die Burg bis Anfang des 16. Jahrhunderts. Im Jahr 1944 wurde die Burg zerstört. Heute ist von der Burg nur noch ein teilweise ummauerter Bereich übrig. Die Ruinen sind frei zugänglich.