In het begin van de 15e eeuw is het slotje eigendom van Lijsbeth (1354-1402), natuurlijke dochter van Willem van Oosterhout. Rond 1570 is het eigendom van Maria van Lier, die getrouwd is met Wolfaert van Borsselen. Hij was schout van Oosterhout en naar hem is het slotje vernoemd. Wolfaert was een bastaard uit de bekende adellijke familie Van Borsselen en werd later baljuw van Goes. Maria en Wolfaert woonden in Goes en gebruikten hun slotje waarschijnlijk als buitenhuis. Op de tekening het slotje omstreeks 1729.