Le délabrement continuel des bâtiments oblige les cordeliers à engager d’importants travaux. En 1637, un procès-verbal fait état de réparations ou plutôt de reconstructions à effectuer. Finalement, et outre les réparations urgentes à faire sur l’existant, un nouveau corps de logis est construit au nord de l’enclos avec l’aide de la municipalité et du roi qui offrent respectivement 3 000 et 1 000 livres de secours. Devenu une demeure privée, c’est le seul bâtiment encore existant aujourd’hui.
Un siècle plus tard, vers 1734, le grand pavillon du vieux couvent menace ruine et de grandes réparations sont lancées. Malgré cela il s’écroule totalement et doit être reconstruit. Ces travaux débouchent sur l’édification d’un bâtiment perpendiculaire à l’église qui longe le cloître et rejoint le corps de logis principal construit en 1637. Il ne semble pas y avoir eu de changements importants par la suite. La seule déclaration des biens possédés par les frères sous le domaine de Vannes en dresse l’état suivant le 24 avril 1677 :
« Une maison et couvent sittués en la ville close dudit Vennes consistant en leur maison et couvant proche les murailles de ladite ville donnant d’un bout à maison et jardin apartenants à Monsieur de Lomaria, conseiller en la cour, un petit jardin au derriere et joignant la muraille de la ville, un jardin au-devant dudit couvent et joignant à l’ancienne muraille de la ville dudit Vennes, maisons et jardins du seigneur presidant dudit Vennes et à dame Nicolle Cillart, dame de Couettec, de l’autre costé à l’eglize dudit couvent, les anciens logemant et cloistre au proche de ladite esglize et le passage et sortye dudit couvent par une grande porte au proche de la muraille de ladite ville, le semitiere au proche de ladite esglize et entrée d’icelle, les portes et entrée audit symetiere donnant de la rue Saint-François.
Un jardin au roche dudit symitiere et y joignant d’un costé et de l’autre costé vers le levant à maison apartenante à dame Jacquette Morice, dame du Boterff, autre fois au seigneur presidant Morin, de l’autre costé ausdittes murailles de la ville et du bout vers midy aux logemants à ladite dame du Boterff, contenant ledit jardin nommé au presant article douze cordes avecq les protestations de se pourvoir contre les usurpations et prejudice leur faictes comme ils voiront.
Qu’ils ont droit de disposer du bastion estant sur la muraille au boult dudit jardin, lequel bastion est derriere la maison de messire Jullien Gibon, seigneur du Grisso, par consession des seigneurs gouverneurs dudit Vennes, sans desroger aux droicts du roy, ny de la ville.
Le surplus est don et maison ducalle conceddée par nos ducs heureuses memoires, avecq amortissementz des mesmes choses ».
À l’instar des autres communautés religieuses, le couvent de Frères mineurs est fermé à la Révolution et ses biens saisis. L’administration du département envisage un temps d’installer ses bureaux dans ces bâtiments mais ceux-ci sont finalement vendus. Hormis le logis principal, l’ensemble bâti est détruit comme le montre le plan cadastral de 1844.