Vanaf 1319 mocht de stad Geertruidenberg van de graaf van Holland delen van Het Broek verkopen. De opbrengst mocht gebruikt worden om er een stadsmuur van te bouwen. In 1346 werd dit privilege nog een keer gegeven. Dat was aanleiding voor veel grensgeschillen, omdat de grond ook door Oosterhout geclaimd werd.