Op 5 mei 1617 kocht schout Michiel van Ryen een stede met huis en hof groot ½ lopenzaadlands, oost grenzend aan ’s heren straat en noord aan de Heuvel. Op dat stuk grond werd vervolgens het raadhuis van het dorp en de vrijheid Oosterhout gebouwd Daarop. Daarvoor gebruikte men onder andere stenen die uit het kasteel van Strijen gesloopt waren. Aan de parkzijde kun je die nog goed zien zitten. In 1619 werd de oude vierschaar, de openlucht-schepenbank, afgebroken. Het bouwsel was van baksteen, grote stenen van het formaat Slotbosse Toren. Volgens Van Goor had het vrijheidshuis een toren. Het Vrijheidshuis werd in 1839 sterk verbouwd. Het diende tot 1942 als gemeentehuis.