Grubbenvorst hat seinen Namen vom Slot Gribben, dem heutigen ruinierten Gebroken Slot. Ursprünglich hieß das Dorf nur Vorst, aber weil es so viele Dörfer mit diesem Namen gab, wurde Gribben hinzugefügt.
Die Burg wurde vom Herrn von Gribben bewohnt, der von den Abgaben lebte, die seine Bauern an ihn zu entrichten hatten. Aus Geldmangel ging die Burg in den Besitz des Herzogs von Gelre über. Mehrere Schlachten wurden um den Titel des Herzogs von Gelre geschlagen. Bei mehreren Belagerungen wurde die Burg zweimal zerstört.
Aus der Zeit nach der Zerstörung stammt auch die Legende von der Weißen Frau. Sie geht so: Ein Knappe verliebt sich unsterblich in die Tochter eines Gastwirts und auch sie tut so, als sei sie in ihn verliebt. Jeden Abend geht der Knappe an der Maas in der Nähe des Zerbrochenen Schlosses spazieren und denkt an die schöne Tochter. Eines Abends ertappt der Gutsherr die Tochter mit einem Jungen aus dem Dorf. Er hört, wie sie ihm sagt, dass sie nur ihn und nicht den Gutsherrn liebt. Das macht den Knappen so wütend, dass er auf die beiden losstürmt. Bei einem Kampf erhält der Knappe einen schweren Schlag und fällt rückwärts in ein großes Loch. Kurz bevor der Knappe stirbt, verflucht er das Mädchen und sagt, es werde für immer in den Ruinen des Schlosses spuken. Einige Tage später erkrankt das Mädchen an hohem Fieber und stirbt. Seitdem wandert sie bei Vollmond um Mitternacht heulend durch die zerbrochene Burg.
Als die deutschen Truppen 1944 aus Grubbenvorst abziehen müssen, befürchten sie, dass die englischen Soldaten den Turm der Zerbrochenen Burg als Wachturm nutzen werden. Um dies zu verhindern, sprengen sie die letzten Überreste, von denen nur noch ein paar Steinbrocken übrig sind.