L'intervention de Moissac à Duravel se traduisit en outre par l'installation d'un prieuré bénédictin dans la seconde moitié du XI^e siècle. Il devint la principale dépendance de l'abbaye dans la basse vallée quercynoise du Lot qui a exercé une grande influence sur la vie des habitants et  celle de la cité au cours de cinq siècles.  Le prieuré disparut au XVII^e siècle, après la vente de son temporel (revenu attaché à un bénéfice ecclésiastique), à quelques familles riches du pays. Cet évènement  correspond à la sécularisation (passage des biens d'Église dans le domaine public), de l'abbaye de Moissac  en 1626 et à la transformation de ses moines en chanoines augustins.

Les bâtiments principaux du prieuré formaient deux ailes distinctes adossées à la façade méridionale de l'église. Selon une ancienne description, les deux ailes entouraient le cloître et le jardin qui servait également de cimetière. Le réfectoire était parallèle à l'église prieurale. Un autre bâtiment, à l'est de la terrasse, contenait les provisions ; dans les combles vivaient les frères-convers chargés des travaux domestiques et des champs.

Dans les années 1860 de gros travaux transformèrent ce lieu. Les deux ailes du prieuré furent démolies. Le presbytère déménagea route de Montcabrier et la construction de l'hôtel de ville actuel permit de rassembler les services municipaux. Le cimetière ancestral fut remplacé par le cimetière toujours installé au-delà du bourg. L'ancienne rue dite rue publique au Moyen-Âge qui traversait la ville d'est en ouest fut élargie et renommée boulevard Gustave Joubert.