In 1504 wordt Hendrik III van Nassau de opvolger van Engelbrecht van Nassau. Hij blijft heer van Breda, en dus ook van Oosterhout, tot 1538.