A l'origine dénommé "Hôtel de Saint Quentin", le manoir Salomon de Brosse a pris son appelation et sa forme définitive actuelle à compter du XVIIème siècle. Cette maison, jadis appelée "Maison jaune" ou "Maison de Sully" s'intégrait dans l'ensemble des bâtiments qui constituaient, à la fin du XVIe siecle, l'Hostel de St Quentin. L'architecte Salomon de Brosse, né dans une maison voisine, a acheté ce manoir en 1613 pour en faire son habitation.