La Chapelle Saint Symphorien est un bel édifice roman du XII^ème siècle. C’est à cette époque que Saint Symphorien est devenu le saint patron de la paroisse de Caumont. Ce fut la première église paroissiale officielle de Caumont. Elle a sans doute succédé à un édifice primitif, dont il ne reste pas de trace. La chapelle Saint Symphorien est située près du cimetière mais principalement accessible par le chemin qui conduit au Jardin Romain.
Elle reste utilisée pour le culte dans des circonstances particulières.