In 1458 wordt het slotje voor het eerst in de archieven vernoemd als het bij een erfdeling betrokken is. De oudst bekende eigenaar is Jacob Mijnsherenzoon, een bastaard van Willem van Oosterhout. Hij trouwde in 1409 met jonkvrouwe Petere van der Spout. Hij nam de naam van zijn vrouw aan. In 1635 wordt het slotje verhuurd aan pastoor Arnold Rijsbos. In 1650 koopt jonkheer Charles van Beveren het. Naar hem is het slotje vernoemd. Hij was rentmeester van de prins van Oranje in Geertruidenberg. Ondanks protest (hij herbergde een ‘paap’) bleef hij het slotje aan de pastoor verhuren. Het blijft dienst doen als pastorie tot 1859, toen op de Markt een nieuwe pastorie gebouwd, die tot op heden als zodanig in gebruik is.