In 1881 bouwden de jezuïeten een kerk op de hoek van de Heuvel en de Gasthuisstraat. Omdat de ruimte die de paters daar ter beschikking hadden krap bemeten was voor een kerk met de capaciteit van vijfhonderd gelovigen, ging de kerk de hoogte in: ze kreeg aan de zijkanten twee ‘verdiepingen’. Dat was erg ongebruikelijk in katholieke kerken; het kwam wel voor in lutherse kerken en katholieke schuilkerken in Holland. De kerk werd in de volksmond ook wel ‘paterskerk’ genoemd en ze werd vooral bezocht door de elite van Oosterhout.