Dès le XIIIème siècle, une communauté juive rejoindra le Comtat Venaissin et habitera la Place de la Juiverie à L'Isle-sur-la-Sorgue, fermée par deux portes pendant la nuit.
Sous l’égide des Papes, les Juifs vivront relativement libres et participeront activement à la prospérité de la ville. Entre le XVème et le XVIIème siècle, la réglementation papale à leur encontre se durcit et ils sont relégués dans quatre villes dont L’Isle-sur-la Sorgue, Cavaillon, Carpentras, et Avignon. Ce n’est qu’en 1791, lors du rattachement du Comtat Venaissin à la France qu’ils recouvrent leur indépendance.
Autrefois, il existait une synagogue. A présent, il reste une bâtisse sur quatre niveaux, seul témoignage de l’ancienne carrière.
Entrée par la Rue Lopez ou la Rue Alfred de Musset ou la Rue de l’Hôtel de Ville.