Durant tout le XVIIIe siècle, les Parisiens se font construire des « folies » à la campagne, l'équivalent de nos résidences secondaires. Jusqu'à la fin du XIXe siècle, Pantin demeure un village rural, une campagne proche de la capitale. Au 57 de la rue Charles-Auray se trouve une de ces folies construites sous le Directoire (1795-1799). La Maison Directoire est située dans le quartier de l'église de Pantin.
En raison de son instabilité politique et économique, le Directoire a laissé peu de traces architecturales, d'où l'intérêt de cette demeure malgré le mauvais état dans lequel elle se trouve. Les constructions directoires conservent beaucoup du style Louis XVI, tout en présentant les prémices du style Empire. Après les excès de la période rocaille, les architectes marquent leur volonté d'un retour à la pureté antique. On y retrouve les formes rectilignes, délaissant les courbes de l'architecture baroque.
Dans la maison de la rue Charles-Auray, le fronton, décoré d'un bas-relief au sujet mythologique, est une citation hellénisante de ce retour vers les lignes antiques.
Bien que la Folie de Pantin soit inscrite à l’inventaire supplémentaire des monuments historiques (ses façades et sa toiture), le bâtiment laissé à l'abandon depuis 1995 est très dégradé.
L'association Pantin à la Folie se bat pour que la folie soit rénovée et utilisée par les associations locales et les habitants.