Le Château de Villiers a une longue histoire. En 1165, il devint propriété du roi Louis VII. En 1450, Louis IX le donne à son barbier Olivier Le Daim.

Revenu à la couronne, François 1er le transmet en 1515 à Jean de Selve, premier président du parlement de Paris. Le domaine, remanié, reste la propriété de cette famille jusqu'en 1925. Il fut aussi, la propriété d'un artiste célèbre, Philippe Clay.