Oosterhout wordt voor het eerst ‘ vrijheid’ genoemd in een akte die is uitgevaardigd door Willem van Oranje, die dan nog in Brussel fungeert als stadhouder van Brabant. Een vrijheid was iets tussen een stad en een dorp in: een vrijheid was niet omringd door muren en grachten en had ook geen stadsrechten, maar vaak wel het recht om jaar- en weekmarkten te houden, iets wat dorpen niet hadden.