Das Schloss Baexem, das in seiner heutigen Form aus dem 17. Jahrhundert stammt, wurde einst von der Militärfamilie Van Baexen bewohnt. Laut der Gedenktafel starben drei Ritter aus diesem Geschlecht anno MCCLXXXVIII. Dies könnte darauf hinweisen, dass die Ritter im Jahr 1288 in der berühmten Schlacht von Woeringen (einem Ort in der Nähe von Köln) gefallen sind. Spätere adlige Einwohner stellten auch die notwendigen Soldaten, von denen die meisten weit weg von zu Hause starben. Im Jahr 1878 kauften vier Familien aus Baexem gemeinsam das Schloss und die Ländereien des letzten adligen Bewohners, Baron Van der Marck, und teilten den Kaufpreis durch Verlosung unter sich auf.
Wo sich früher der Gemüsegarten der Familie befand, befindet sich heute der einzigartige botanische Garten.
Über die älteste Baugeschichte des Hauses ist nicht viel bekannt. Die ältesten oberirdischen Teile stammen aus dem 17. Jahrhundert, die Keller sind älter. Auf der rechten Seite des Schlosses befand sich ein Wohnturm, der wahrscheinlich zum ursprünglichen Haupthaus gehörte. Später wurde ein neuer Flügel rechtwinklig zum ursprünglichen Flügel angebaut. Im 18. Jahrhundert wurde der linke Flügel angebaut. Dadurch erhielt das Schloss eine mehr oder weniger symmetrische Form.
Im frühen 19. Jahrhundert war das Schloss an drei Seiten von Gräben umgeben. Ein Wassergraben umgab auch den Küchengarten des Schlosses.
Auf dem Vorplatz befindet sich ein regionales Restaurant, die Baronshoeve.
