Rond 1550 bouwde Jan Oomen het slotje Spijtenburg. Jan was schepen van Oosterhout. Zijn vader was als rijke boer rond 1440 naar Oosterhout gekomen. Jan Oomen had eerder geprobeerd een bestaand slotje te kopen, maar dat was hem niet gelukt. Het verhaal wil dat hij daarom zijn slotje, dat naast slotje Brakestein stond, met de rug naar de bestaande slotjes bouwde en het de naam Spijtenburg meegaf. Spijtenburg is rond 1840 afgebroken, en het enige wat er van rest is een stukje van de gracht, nu een vijver in het park van slotje Brakestein.