La ferme, à l'origine de l'édifice où se situe les gîtes Château Saint Secret: "La Chapelle" et "Chez Dabin", a été probablement fortifiée et aménagée en château à partir du XIVe Siècle. Les seigneurs d'Alençon abandonnent " leur inconfortable forteresse" pour occuper le site à la fin du XVe siècle.
L'ensemble, bâti sur plan carré, entouré d'un mur d'enceinte flanqué de quatre tours s'organisait autour d'une cour d'entrée a usage agricole et d'une cour d'honneur fermée de style Renaissance. D'autres éléments ornementaux ou architecturaux tels que les fenêtres à menaux, le grand escalier en vis inscrit dans une tour pentagonale, le porche à bossage et fronton brisé, peuvent être attribués à cette période. La partie centrale, avec des baies de grandes dimensions, est plus tardive et comporte un grand escalier droit et des traces d'une ancienne chapelle.
Durant la révolution, les tours sont arasées et le château partagé entre plusieurs familles du village.
Les écrits décrivent une ancienne chapelle à l'emplacement du gîte qui porte ce nom.
Dabin était un ancien ouvrier agricole qui a commencé à aménager un pièce dans les ancienne parties noble du Château dans les années 60. En effet, cette petite pièce de 20m² était pourvue de l'eau de source, d'un lit sommaire et d'une table à manger. Elle correspond a l'entrée et au salon du gîte qui porte son nom.