Ursprünglich bestand die Kapelle Unserer Lieben Frau der sieben Schmerzen nur aus einer kleinen Kapelle. Pfarrer Jan van Goch ließ sie 1612 errichten, um darin Ruhe zu finden. Schließlich war es eine turbulente Zeit: der Achtzigjährige Krieg. Auch Menschen von außerhalb Afferdens pilgerten zu dieser Kapelle, die früher die Kapelle der sieben Schmerzen genannt wurde.
Das Gebäude wurde im 17. Jahrhundert im Krieg zerstört. Pastor P. Vossen ließ es 1688 wieder aufbauen. Der hölzerne Altar im Inneren mit vier gedrehten Säulen und einer Muschelnische stammt aus dem 17.
Da der Platz in der kleinen Kapelle begrenzt war, ließ Pfarrer W. Berden 1909 eine größere Kapelle bauen. Die größere Kapelle schließt direkt an die kleine Kapelle an der Rückseite an. Eine kleine Treppe mit vier Stufen verbindet die große und die kleine Kapelle.
