Le domaine de La Gavolerie s’étend sur 6 hectares dans le Perche Sarthois. C’est au 17ème siècle qu’une abbaye y fut construite, sur les hauteurs. De là, les moines camaldules s’y recueillaient avec la vue sur les collines et forêts surplombant la vallée de la petite rivière La Braye. L’église a fait place aujourd’hui au château de La Gavolerie, élevé toute fin 18ème s. Néanmoins, il reste les communs des moines aménagés en gîte. Et l’atmosphère de tranquillité des lieux a traversé les siècles…
C’est en effet en 1659 que l’ermitage de La Gavolerie fut fondé. Gilles Renard, gentilhomme besséen avait hérité de son père le domaine de Bessé où il aimait venir se reposer de sa vie parisienne. En effet, promu au service du Roi Louis XIII en charge des affaires liées aux gardes et aux gendarmes, il reçut du monarque la concession du terrain du Bastion des Tuileries du côté de l’actuel musée de l’Orangerie. Défriché, ce lieu devient alors magnifiquement planté de fleurs dont, dit-on, un bouquet porté chaque matin au Louvre, ravissait Anne d’Autriche . Ce lieu à vocation d’enceinte militaire devint un espace vert très à la mode pour les promenades et les collations ! Gilles Renard y possédait en effet une sorte de cabaret, logis dans lequel cet esthète, collectionnait de nombreuses œuvres d’art notamment des tapisseries et des tableaux. La légende à la manière de Faust raconte que vendant son âme au Diable pour séduire des belles toute l’année, Gilles Renard échappa in extremis à son funeste sort. Il se promit de se racheter de sa vie dissolue et fonda l’abbaye en 1659 à Bessé-sur-Braye. Il choisit l’ordre austère italien des camaldules, dont une congrégation était par ailleurs existante au château voisin de La Flotte à Lavenay.
Les travaux furent entrepris dès juillet 1660 pour les cellules des religieux et l’église du monastère s’éleva à partir de mars 1661. Le fondateur mourut peu de temps après l’achèvement de l’ermitage en avril 1670. Néanmoins, les moines s’y succédèrent jusqu’en 1786. La révolution française scella définitivement le sort de la Gavolerie : en 1791, le monastère est en effet vendu comme bien national. Les nombreuses peintures et tapisseries collectionnées par l’amateur d’art qu’était Gilles Renard furent ainsi dispersées. En 1793, les bâtiments du monastère furent abattus pour construire l’actuel château de La Gavolerie. Seul le gîte et le corps de bâtiments attenant subsistent de cette époque.