Les moines vivaient en clôture, à l’écart du monde. Il reste peu de
traces des murs et des tourelles qui entouraient l’abbaye. Ne
subsiste qu’une des portes d’entrée, celle dite du For (d’un vieux
mot voulant dire extérieur, que l’on retrouve dans la célèbre phrase
de François Ier "Tout est perdu, for l’honneur"), par laquelle entraient les marchandises livrées dans la cour où se trouvaient les granges et les étables.
Autrefois "cour des greniers des moines", cette cour, dans laquelle nous pénétrons est maintenant la place Lafayette, du nom de Gilbert Motier, seigneur de Lafayette, maréchal du roi Charles VII, et qui mourut en 1463. Originaire du Livradois, il tint à se faire enterrer dans l’abbaye. C’est un ancêtre du célèbre marquis.
Sur la droite, dans les bâtiments assez simples du XVIIIe qui servaient de granges va être aménagé un auditorium. Au fond, le chevet de l’église flanqué de la tour Clémentine.
La construction de cette tour est postérieure à celle de l’église. Elle a été achevée par le pape Grégoire XI, neveu de Clément VI, à la fin du XIVe. On trouve les armes des deux papes sur la façade. Il ne s’agit pas d’un donjon, pas plus que l’abbaye n’est une forteresse ; mais son caractère défensif est évident. Les moines s’y réfugièrent quand l’abbaye fut envahie et saccagée par les Huguenots en 1562 et purent résister plusieurs jours grâce au puits et au four aménagés dans ce qui est aujourd’hui la sacristie.

Longeant la façade nord, cette rue est la rue de l’Aumône. Elle rappelle la tradition de charité à l’égard des pauvres. Ils y accédaient par une porte en contrebas et recevaient la nourriture entreposée dans les granges. Ce parcours permet d’admirer les contreforts (il n’y a pas d’arc-boutants) et la hauteur exceptionnelle des fenêtres pour laisser entrer une trop rare lumière dans l’église.