L'Hôtel Le Vergeur fut construit à partir du XIIIe siècle. C'était alors une demeure patricienne située dans un quartier habité de riches négociants. L'hôtel appartenait au XVIe siècle au grenetier Nicolas Le Vergeur, qui le transforma et lui donna les caractéristiques d'un hôtel particulier aux façades intérieures disposées autour d'une cour privée. Il présente aujourd'hui pour l'essentiel une architecture Renaissance.
Hugues Krafft (1853-1935) rapportait de ses voyages à travers le monde objets, vêtements, plaques photographiques, se constituant une importante collection ethnographique. A sa mort, ses collections ainsi que son mobilier, ses tableaux, sa bibliothèque et ses archives devinrent le Musée-Hôtel Le Vergeur, enrichi chaque année grâce à la générosité de nombreux donateurs.
