Willem V was niet alleen de laatste stadhouder van de Republiek, maar ook de laatste die als baron van Breda de heerlijke rechten uitoefende in Oosterhout. In 1795 vluchtte hij bij de komst van de Fransen naar Engeland. Vanaf 1801 vestigde hij zich op slot Oranienstein. Hij stierf daar enkele jaren later kinderloos.