La Chapelle des Pénitents est un édifice, construit au XVIème siècle, qui fut autrefois l’église paroissiale de Caumont. Quand ce bâtiment s’est révélé lui-même trop vétuste par rapport à la croissance du nombre de paroissiens au XVIIIème siècle, il a été décidé de construire la vaste église actuelle. Ce bâtiment, qui jouxte l’église paroissiale actuelle, a alors été confié à la confrérie des Pénitents Blancs de Caumont, d’où son nom actuel.
Une confrérie de pénitents est une association d’hommes et de femmes catholiques qui partagent un même idéal chrétien, qui pratiquent le culte avec une tenue spécifique et peuvent s’adonner à la charité, souvent dans la discrétion. Il n’y a plus d’association de Pénitents active à Caumont actuellement.