Situé à l’emplacement de l’ancien Hôtel-Dieu, dont il reste les celliers gothiques et des éléments de façade d’époque Louis-XV, le bâtiment est dessiné sous la Restauration par l’architecte royal Mazois et par son successeur Caristie, assisté de Serrurier, architecte de la ville.
Anticipant le style « Beaux-Arts », dans un répertoire monumental caractéristique, il est inauguré en 1839, à l’exception du côté sud édifié en 1912.
L’intérieur est reconstruit en 1928, la salle des pasperdus réaménagée avec mezzanine en 1977.
