Le château actuel a été bâti sur l'emplacement d'un manoir construit au XIIIe
En 1663, le château passe à Louis Charles d'Albert de Luynes (1620-1699), 2e duc de Luynes, fils issu du premier mariage de la duchesse de Chevreuse avec Charles d'Albert (1578-1621), 1er duc de Luynes, Connétable de France, favori du roi Louis XIII. Le château va dès lors rester dans la maison d'Albert.

À partir de 1675, le duc de Chevreuse, Charles Honoré d'Albert de Luynes (1646-1712), gendre du contrôleur général des finances de Louis XIV Jean-Baptiste Colbert, entreprend de moderniser Dampierre et fait appel à Jules Hardouin-Mansart qui devient Premier architecte du roi en 1681.