Das Schloss Baexem, das in seiner heutigen Form aus dem 17. Jahrhundert stammt, war ein Lehen der Abtei Thorn. Das Schloss erhielt seinen Namen von dem nahe gelegenen Dorf. Eine ritterliche Familie Van Baexem ist bereits seit dem 13. Laut der Gedenktafel starben drei Ritter aus diesem Geschlecht anno MCCLXXXVIII. Dies könnte darauf hindeuten, dass die Ritter im Jahr 1288 während der berühmten Schlacht von Woeringen (ein Ort in der Nähe von Köln) starben.
Später stellten adlige Einwohner auch die notwendigen Soldaten, von denen die meisten fern der Heimat den Tod fanden.
Im Jahr 1878 kauften vier Familien aus Baexem gemeinsam das Schloss und die Ländereien des letzten adligen Besitzers, Baron Van der Marck, und teilten den Kaufpreis durch Verlosung unter sich auf.
Leider ist über die älteste Baugeschichte des Schlosses wenig bekannt. Der älteste Teil des heutigen Schlosses sind die Keller. Die heutigen Gebäude stammen aus dem Jahr 1676 und jünger. Die Flügel wurden im 18. Jahrhundert angefügt und geben dem Gebäude ein symmetrisches Aussehen. Die Eingangshalle hat einen Risalit mit einem Giebel. Rechts vom Eingang stand ein Bergfried, an den mehrere Fachwerkhäuser angebaut wurden. Bei Ausgrabungen im Jahr 1985 wurden die Fundamente dieses Bergfrieds (Turm) freigelegt, sein Alter ist jedoch unbekannt. Die Burg war früher von einem Graben umgeben.
Das heutige Hauptgebäude ist ein zweigeschossiges U-förmiges Haus mit weiß gestrichenen Fassaden und Walmdächern auf allen Flügeln. Das älteste Mauerwerk aus Mergelsteinen befindet sich an der hinteren Fassade und stammt laut den Jahreszahlenankern aus dem 17.
Der Vorplatz hat eine Zufahrt von Nordwesten her. Der Eingang ist durch ein symmetrisches Eingangstor mit drei seitlich ansteigenden Backsteinpfeilern und Natursteinverzierungen gekennzeichnet. Der Platz ist von vier Gebäuden umgeben, die ursprünglich eine fast symmetrische Anordnung hatten.
Links von der Einfahrt befindet sich der L-förmige 'Hover Hof', der heute als Restaurant und Wohnhaus unter dem Namen 'Baronshoeve' genutzt wird.
Im rechten Winkel zur Allee liegt der Soursehof, der ursprünglich ebenfalls einen L-förmigen Grundriss hatte. Später im 19. Jahrhundert wurde dieses Gebäude abgerissen und durch das heutige Gebäude ersetzt. Hinter diesen Gebäuden liegt das Verbindungshaus 'Die Treppe'. Auf der rechten Seite stand ein ähnliches Gebäude, das später durch einen neuen Firmenflügel ersetzt wurde.
Das Schloss ist derzeit teilweise als B&B eingerichtet.
