Sur le site face au nord, exista pendant longtemps une grosse tour fortifiée rectangulaire qui complétait le système défensif intérieur de la cité. Cette tour avait été construite au XIV^e siècle, lors de la Guerre de Cent Ans. Elle reposait du côté nord sur le bras droit du transept, ayant ainsi sa façade orientée vers les collines. De structure massive elle comportait des embrasures et avait un réduit appelé salle d'armes. Généralement ce type d'édifice fortifié servait aussi de refuge aux habitants et d'entrepôt pour leurs biens précieux en cas d'attaque ennemie. Sa démolition intervint en 1884 dans le cadre des travaux qui transformèrent le clocher de l'église. Son souvenir est associé à un épisode tumultueux de la Guerre de Cent Ans qui a illustré l'histoire de Duravel et celle de la Basse Vallée du Lot. En 1369, la cité fut assiégée et assaillie par des troupes du duc d'Aquitaine (roi d'Angleterre), commandées par les capitaines Robert Knolles et Jean Chandos. Les habitants opposèrent alors une résistance victorieuse avec le concours de Compagnies d'Armanien d'Artigues, de Petit-Méchin, d'Arnadon de Paus, et d'autres que le duc d'Anjou, frère du roi de France avait soldées. La tradition rapporte que les duravellois se comportèrent vaillamment. Jean Froissart relate dans ses chroniques que durant ce siège on fit usage d'artillerie tout récemment apparue dans les affrontements.