Die Ruinen des Schlosses Huys ter Horst haben einen Platz im Herzen der Horster Bevölkerung. Nicht nur die Burg, sondern auch die Familien, die dort lebten, spielen eine wichtige Rolle in der Geschichte des Gebiets zwischen Maas und Peel.
Die Geschichte von Huys ter Horst geht auf die Zeit um 1300 zurück. Im Jahr 1532 ging der Komplex in den Besitz des Beamten Johan van Wittenhorst über, der im Folgenden auch Herr von Horst genannt wurde. Er stand in den Diensten des Herzogtums Gelre. Im 80-jährigen Krieg wurde die Burg durch umherziehende und marodierende Soldaten teilweise zerstört; wie jede alte Burg wurde sie im Laufe der Jahrhunderte mehrfach zerstört, wieder aufgebaut und erweitert. Bis 1738 blieb die Burg im Besitz der Familie Van Wittenhorst. Dann gelangte es durch Erbschaft in den Besitz der Familie von Fürstenberg.
Im Jahr 1798 beendeten die Franzosen die Herrschaftsrechte des letzten Besitzers, Frans Clemens von Fürstenberg. Daraufhin verfiel das Schloss. Um 1828 wurde ein großer Teil des Schlosses und der Nebengebäude abgerissen. Nur die Tiendschuur blieb erhalten und ein Teil des Hofes ter Binnen, des nahe gelegenen Bauernhofs. Heute sind diese Elemente noch sichtbar, und ein Teil der Burgruine wurde wunderschön restauriert und einige Teile wieder aufgebaut.