La chapelle est implantée sur le site du palais du cardinal Boulogne (XIVéme siècle). En 1610, Pierre Calvet, notaire royal et prieur de la confrérie met à disposition de la confrérie des Pénitents Gris de la Miséricorde de Villeneuve-Les-Avignon un emplacement pour la construction d'une chapelle.
Commencés en 1738, les travaux sont terminés en 1758. Son principe architectural est craisemblablement du à Jean-Baptiste Franque, né à Villeneuve en 1683 et dont l'atelier était implanté à Avignon.
C'est au maître maçon Fauque qui travaillait pour cet atelier que la construction fut confiée.
La chapelle a sa façade sur la cour de l'ancien palais (actuellement dénommé palais de la Thurroye) aevec son puits du XIVéme siècle. Sa porte d'entrée est la réplique, plus modeste, de celle de l'église des récollets aujourd'hui masquée par un bâtiment moderne. Elle est encadrée de pilastes ioniques surmontés de chapiteaux soutenant un petit campanile à fronton triangulaire.
La stéréotomie des voûtes plates est caractéristique du style architectural des Franque avec un jeu d'appareils raffiné où les joints dessinent des figures géométriques ou curvilignes toutes différentes.
La nef est de quatre travées séprarées par des doubleaux; elles s'élargissent progressivement vers le choeur créant un mouvement de perspective. Ce parti subtil a pour corollaire les variations des appareils des voûtes dont chacne contient un tableau central chantourné d'un motif de mosaïque différent.
Il en est de même pour les chapelles latérales et la sacristie qui est couverte d'une coupole barlongue à pendentifs d'une grande virtuosité.
La tribune des chantres repose sur une voûte en arc de cloître avec lunette en plein cintre.
Un pigeonnier est bâti dans la tour nord-ouest du palais de la Thurroye à la droite de la tribune.