Alhoewel de haven eigendom van de Nassause Domeinen was, moest het dorp Oosterhout de vaart en de haven schoon houden. Dat was een heel probleem, omdat er met het getij heel wat slib werd afgezet en de haven dus regelmatig uitgebaggerd moest worden. Al in 1611 werd toegestaan daar jaarlijks 100 gulden aan te besteden. Het onderhoud bleef een chronisch probleem en Oosterhout trachtte de kosten terug te verdienen via een vaartgeld. De Oosterhoutse haven was maar smal. Daarom was er een zwaaikom, genaamd ‘De Zwaai’,op 400 meter ten noorden van het haveneinde. De kom wordt genoemd in de discussies rond het schoonhouden van de haven in de zeventiende eeuw. Op de allereerste kadasterkaarten is hij te zien als een kleine verbreding van het havenkanaal naar de westzijde.