Willem van Duvenvoorde neemt eind januari 1321 het Huis en Goed van Strijen in erfpacht van de heer en vrouwe van Putten en Strijen. Hij breekt het bestaande kasteel af en bouwt een groter nieuw kasteel waarvan nu alleen nog de ruïne over is: de Slotbosse Toren. Het kasteel had zeker een grote en een kleine toren; veel later kwam er een derde, ronde, siertoren bij. Het kasteel dat Willem bouwde was heel compleet: het had een bier-, wijn, en zuivelkelder. Beneden was er een grote centrale ‘sale’, een hal met ramen. Boven waren de woonvertrekken, de badkamer en een eetkamer. Die waren goed verwarmd: er waren 28 open haarden. Boven de woonvertrekken (en de grote ‘sale’) lagen zolders, waarvan minstens twee grote korenzolders. Het kasteel was omgeven door een driedubbele slotgracht. Er hoorde een dierenpark en een wijngaard bij.