La chapelle Notre-Dame structure l’ancien site castral de Mézel dont il subsiste quelques fragments de remparts et la butte supérieure ou « motte », vestige du château primitif. Le bâtiment est reconstruit sur une base médiévale qui pourrait correspondre à la chapelle castrale dont le titre reste inconnu.

L’enquête sur les propriétés comtales de 1250 recense encore des habitants au village castral dans l’enceinte du château alors que le nouveau bourg commence à se développer à proximité de l’église du prieuré de Saint-Vincent, église actuelle du village.

Edifiée aux alentours de 1620, la chapelle dédiée à Notre-Dame du Rosaire est mentionnée pour la première fois, sur le terrier de 1666. Le portail de style toscan est daté de 1680.
Le chevet plat est percé d’un oculus encadré par un rosaire tenu par deux anges qui couronnent le grand retable de gypserie, l’élément le plus remarquable de la chapelle.

Une petite sacristie voûtée est liée à la chapelle au niveau du chœur. Elle couvre l’ouverture d’un puits de 9 m de profondeur qui reçoit les poids de l’horloge. Son mécanisme est installé dans une petite construction qui surmonte la sacristie.

Au XVIIIe siècle, l’ensemble était complété par un ermitage affecté à l’usage d’hôpital. Cette annexe, totalement rasée, semble encore en place sur le cadastre napoléonien établi en 1812.