In de late middeleeuwen groeien in Oosterhout enkele grote boerenhoeven uit tot bescheiden kasteeltjes. Een deel ervan bestaat nog: slotje Limburg, de Blauwe Kamer enz. Gramaye schrijft in zijn kort na 1621 geschreven boekje Antiquitates Bredanae dat Oosterhout een van de schoonste dorpen van de Baronie is. Er zijn bovendien vier kastelen die bewoond worden door edelen. Ooit woonden er nog veel meer edelen in Oosterhout, zo beweert Gramaye. Dat is maar zeer ten dele waar. Een deel van de slotjes wordt in 1621 bewoond door rijk geworden burgers. Er hebben in Oosterhout nooit veel edelen gewoond.