Op 18 mei 1777 werd in Oosterhout een armenfabriek opgericht. Zo sneed het mes aan twee kanten: de belasting op de armenzorg werd minder en de armen deden mee in de maatschappij. Wie niet ziek was en bedeeld werd, kon worden verplicht om er te werken. In de armenfabriek, een ‘Catoen-spinnerij’ werd een aantal kinderen tewerkgesteld. Na 1781 liep de productie ineens drastisch terug. Dat kwam omdat de Vierde Engelse Oorlog de aanvoer van ruwe katoen over zee bemoeilijkte. In Oosterhout vond men een oplossing: er werd overgestapt op het spinnen van koehaar. Deze kunstgreep kon de fabriek, die elk jaar met een negatief saldo afsloot, niet redden. De tekorten, die in 1783 opliepen tot ruim 422 gulden, werden aangezuiverd door de Oosterhoutse Sint-Jansparochie maar ook dat kon niet verhinderen dat de fabriek in 1785 zijn deuren moest sluiten.