Vanaf 1814 was de Latijnse school een openbare school. Op een openbare school mocht geen leerstellig onderwijs worden gegeven. In de praktijk functioneerde de school echter als klein seminarie voor de opleiding van priesters in het vicariaat Breda. Dat gaf in Oosterhout problemen: de protestante burgemeester Hallungius was voorzitter van het College van curatoren, en zijn aartsvijand dokter Janssens was er curator. De school hoefde dus niet op welwillendheid van het gemeentebestuur te rekenen. In 1839 opende mgr. Van Hooydonk een eigen kleinseminarie van het vicariaat in Oudenbosch. De rector van de school vertrok naar Oudenbosch en nam de meeste leerlingen mee. Tussen 1840 en 1855 telde de Latijnse school nog 2-5 leerlingen per jaar. In 1855 is ze gesloten.