In 1422 stond er al een huis op het perceel. In 1483 horen we ook van een poortgebouw en in 1571 van een gracht. De naam ‘Huis van der Brake’ zien we voor het eerst in 1569. Het dankt zijn naam aan het noordelijk van het huis gelegen terrein, dat al vroeg bekend stond als ‘die Brake’, braak liggende grond die niet beploegd en bewerkt werd. De naam Brakestein wordt pas vanaf het eind van de 18e eeuw gebruikt.. Op de illustratie het slotje omstreeks 1730.