Seit 1500 lebte die wohlhabende Familie Scheres von Generation zu Generation auf diesem Landgut, das Scheresgoed genannt wurde. Frederik Baron van Olne erwarb das Haus Scheres im Jahr 1766. Die Barone von Olne rissen das Haus Scheres ab und bauten das heutige Schloss Scheres.
Willem d'Olne war der letzte der Familie d'Olne. Er heiratete die Baronin de Weichse de Wenne von Geysteren. Als diese Baronin 1930 als Witwe starb, ging das Schloss in den Besitz von Baron de Weichs de Wenne, einem deutschen General, über. Dieser verpachtete es an seinen Neffen, der es ab 1935 bewohnte.
Im Jahr 1962 war der japanisch-amerikanische Künstler Professor Shinkichi Tajiri Eigentümer des Schlosses. Die Eisenknöpfe in Baarlo sind von seiner Hand.
Das Schloss und der Garten von Schloss Scheres sind nicht für die Öffentlichkeit zugänglich.
