Leijsen heette in de middeleeuwen ‘Tolloysen’. Die naam zien we voor het eerst in 1383. Rond die tijd bracht de heer van Oosterhout aller gronden samen in een nieuwe hoeve, ‘die hoeven tot Tolloysen’. Dat werd het slotje Tolloysen. De naam van het gehucht Leijsen, die in 1512 voor het eerst verschijnt in de vorm van ‘te Loysen’, moet op Tolloysen teruggaan. Leijsen was rond 1800 nog een gehucht van verspreide boerderijen langs een boogvormige straat die een hoog openakkercomplex, de Leijsenakkers, aan de zuidzijde afzoomde. In die open akker lagen percelen van de hoeve van Ter Brake. Die hoeve zelf stond net op de Zandheuvel.