La résidence du marquis de Montfermeil a entièrement disparu. En revanche, un vestige de l'ancienne ferme seigneuriale demeure. Il s'agit de la Maison de l'Horloge devenue le Musée du Travail Charles-Peyre.
Lorsque la Révolution française procède à l'inventaire des biens nationaux, l'estimation des biens du seigneur de Montfermeil, établie le 19 floréal an 2 (8 mai 1794) dénomme « maison de l'Horloge » un bâtiment intégré dans la partie centrale de la ferme du grand château. Cette maison présente effectivement une horloge située sur une espèce de clocheton surplombant le toit en son centre. Sa magnifique charpente est celle d'origine, essentiellement constituée en bois de châtaignier. Il semblerait, selon l'analyse menée par les compagnons du Tour de France chargés de sa restauration, qu'elle pourrait provenir d'une ancienne charpente remontant au XIe siècle qui aurait été réemployée.
Menacé de destruction, l'édifice est préservé de la démolition in extremis. Comme pour la maison de Bourlon et le château des cèdres, c'est à Emile Hovelaque (1865-1936) que nous devons la sauvegarde de la maison de l'Horloge. Inspecteur général de l'Instruction publique, gendre du gouverneur de l'Etat de New York, Emile Hovelaque est un homme de culture et un fin politique. Ami du président américain Thomas Woodrow Wilson (1856-1924), Hovelaque a exercé une certaine influence sur l'entrée en guerre des Etats-Unis en 1914. Il a été consulté à plusieurs reprises lors de l'élaboration du traité de Versailles. En 1976, la municipalité acquiert la maison de l'Horloge pour y installer un office du tourisme et un musée régional des outils et métiers d'autrefois.
En 1982, la maison de l'Horloge est inscrite à l'inventaire supplémentaire des Monuments historiques. L'année suivante, elle devient le Musée du Travail et le siège de la société historique du vieux Montfermeil. Restaurée en 1990, la maison de l'Horloge est devenue le musée du Travail Charles-Peyre, du nom d'un historien local.
