In 1633 koopt pastoor Gaspar Witte het slotje Borsselen van de vroegere rentmeester der Domeinen in Oosterhout, Johan de Riddere. De pastoor heeft er niet lang plezier van. De strijd tussen katholieken en protestanten werd steeds feller. Predikanten en priesters werden van hun bed gelicht, in de gevangenis opgesloten en pas tegen een groot losgeld vrijgelaten. Pastoor Gaspar Witte wacht het allemaal niet af en vlucht naar zijn veilige vaderstad Antwerpen, waar hij in 1634 overlijdt.