C’est en 1686, que la duchesse de Montpensier offrit un terrain auprès de la chapelle de Grâce pour y bâtir un petit prieuré susceptible d’accueillir les frères capucins, chapelains de Grâce.
En 1823, on aperçoit encore cette maison sur une peinture de Rommy. Quelques années plus tard, le presbytère actuel de Grâce est construit à son emplacement.
En 1880, les décrets ministériels de la Troisième République, s’appuyant sur les lois révolutionnaires encore en vigueur, imposent la fermeture des abbayes de France et l’expulsion des religieux. En quelques semaines, 261 couvents sont fermés.
Le 4 novembre, les frères de l’abbaye Saint Martin de Mondaye, proche de Bayeux, sont chassés de leur monastère.
Mgr Hugonin évêque de Bayeux- Lisieux vient à leur secours en leur confiant des paroisses vacantes dans tout son diocèse.
C’est ainsi qu’arrive à la chapelle de Notre Dame de Grâce, dont le chapelain vient de mourir, le Père Bernard Carabeux de l’ordre des Prémontrés. Il va y mener une vie de missionnaire, en activité constante, accueillant sans cesse les nombreux pèlerins qui viennent se recueillir auprès de Notre Dame. Une notice de l’époque dit à son sujet :
« Il paraissait, disparaissait, réapparaissait dans la chapelle, en attente perpétuelle des âmes à la recherche de Dieu, qui seul, pourrait dire le nombre de pécheurs et de pécheresses repentants qu’il a absous et des âmes pieuses qu’il a aiguillés vers la perfection. »
C’est lui qui accueillit en 1887, une certaine Thérèse Martin qui deviendra un jour célèbre sous le nom de sainte Thérèse de Lisieux.
Après le départ des prémontrés, le presbytère accueillit jusqu’en 2014 des prêtres du diocèse de Bayeux Lisieux.
Dans le jardin du presbytère après la première Messe de l’Abbé Daniel Hauton – 1929