In 1460 werd Stuivezand voor het eerst vermeld. In 1494 stond er een kruis ter herinnering aan het feit dat ‘schoon Gheerijt wart verslagen’, een incident waar we het fijne niet van weten. Stuivezand is een hoog zandig terrein. De eigenlijke stuifduinen liggen wat verder naar het zuidoosten, als een hoge rand tegen de laagten van De Putten. De meest oostelijke kop heette de Zilverberg. Men neemt meestal aan dat in de late Middeleeuwen verstuiving van het zand optrad ten gevolge van overbegrazing. Maar hier kan de oorzaak ook gelegen hebben in het dalen van het grondwater toen de veenpakketten werden weggegraven die aan alle kanten om deze plek heen lagen. Rond 1800 bestond de nederzetting uit een vrij dicht bebouwd driehoekje aan de grensvierhoek van Oosterhout, Terheijden, Zwaluwe en Made. De driehoek wordt gevormd door grens Holland - Brabant, de grenslijn Oosterhout - Terheijden en de vervallen turfvaart van de Vierendelen onder Made naar Terheijden.