Zichtbare kern van het bezit van de heren van Breda in Oosterhout was het kasteel van Strijen. Het was tot 1572 een van de grootste kastelen uit een ruime omgeving, maar werd in het begin van de Tachtigjarige Oorlog zwaar gehavend en daarna als steengroeve gebruikt. In 1714 vroeg het dorpsbestuur aan de Domeinraad om de restanten verder met rust te laten. Als reden tot behoud voerde men aan dat de toren als een baken in zee stond en nog duizend jaar tot herinnering aan de roemruchte voorouders van de Oranjes zou kunnen dienen. De toen nog bestaande twee torens en de driedubbele grachten en wallen werden geacht de Vrijheid nog lange tijd te plezieren omdat ze het toerisme zouden bevorderen. Met het eerste argument smeerde men stroop aan ‘s prinsen mond, in het tweede horen we de plaatselijke middenstand aan het woord. Het verzoek draaide op een compromis uit: één toren bleef staan, de andere werd afgebroken, want dat bracht de prins geld op. Toch is men in 1753 weer met opblazen verder gegaan, zodat we nu nog maar een halve toren overhebben. De wallen zijn geslecht, de grachten gedempt.