O Kasteel Duivenvoorde na cidade de Voorschoten perto de Vassenaar, é um dos mais antigos castelos de Zuid-Holland. Foi mencionado pela primeira vez em 1226. Nos primeiros cinco séculos, o castelo foi propriedade da família Van Duvenvoirde, parte da Casa de Wassenaer.
O castelo é notável por nunca ter sido vendido, o que pode ser dito de muito poucos castelos holandeses. Já passou por herança por várias casas nobres, por vezes pela linha matrilinear. Durante os primeiros cinco séculos de sua história, o castelo foi propriedade de uma família, os van Duivenvoordes, que lhe deram o nome (na época, van Duvenvoirde).
Embora assim chamados, os van Duvenvoirdes apropriadamente faziam parte da Casa de Wassenaer, uma antiga família nobre que desempenhou um papel importante na história holandesa. No final do século XVII, um proprietário do castelo Duivenvoorde, Johan van Duvenvoirde, readotou o nome de van Wassenaer.
Portanto, embora a mesma família permanecesse na Casa, esta tinha um nome diferente.