In 1421 verdween de haven grotendeels in de golven van de Sint-Elisabethsvloed. Een van de getijdegeulen die toen was ontstaan, werd daarna geschikt gemaakt voor doorvaart. Pas in 1645 komt er bebouwing: een havenkroeg. In de zeventiende en achttiende eeuw werd de haven verbeterd en kwam er wat meer bebouwing, zoals onder andere een huis voor de havenmeester. Het Havenkwartier bestond rond 1800 uit een groep van negen huizen en boerderijen aan de Oosterhoutse haven. Het havenhuis op de foto werd gebouwd in 1778 en gesloopt in 1960.