Le romancier Tancrède Martel situe, en 1907, l'un de ses romans, Le Prince de Hanau, à Montfermeil. L'intrigue se passe dans un château datant du XVIIe siècle appelé par le narrateur Le château des Cèdres à cause des magnifiques cèdres de son parc. Depuis, ce nom est resté attaché au bâtiment.
C'est Denis Néret, procureur à la Chambre de Paris qui fait construire ce château vers 1640. Ses héritiers le conservent près d'un siècle après sa mort. Au moment de la construction du bâtiment, l'architecture répond aux règles du classicisme. Les artistes de cette période, correspondant plus ou moins au règne de Louis XIII, de 1610 à 1643, interprètent librement, comme à la Renaissance, l'art antique gréco-romain. Ils utilisent les lignes courbes et brisées ainsi que les ordres dorique, ionique et corinthien. L'ornementation hésite entre la sobriété gréco-romaine et les éléments ostentatoires du baroque italien et flamand. L'architecte du château des Cèdres à Montfermeil opte pour la première façon.
Même si la façade a visiblement été remaniée à la fin du XVIIIe ou au début du XXe siècle, le bâtiment conserve sa structure originelle. Pas de courbes en dehors des fenêtres de l'avant-corps, mais des lignes et des angles droits. La symétrie et la régularité de l'élévation sont très rigoureuses. La façade, dont l'avant-corps est surplombé d'un fronton à oculus souligné de moulurations, est scandée par des pilastres ioniques. Il ne possède pas de pavillons d'angle, comme on peut en voir aux châteaux de Romainville, de Gournay-sur-Marne ou Maison-Blanche à Gagny, mais les lucarnes surmontant l'espace entre les travées sont présentes.
Comme dans le château que Louis Ancelin a fait édifier à Gournay-sur-Marne, le château des Cèdres possède une magnifique rampe d'escalier en fer forgé, témoin des grandes heures de la ferronnerie d'art de cette époque. Inscrite à l'inventaire des Monuments historiques en 1976, la rampe de l'escalier du château des Cèdres est tenue pour le plus bel ensemble en fer forgé du XVIIe siècle de la région. En 1788, le propriétaire du château est Denis Gaudot, receveur des droits d'entrée dans Paris. Après avoir été impliqué dans une affaire de malversations financières, ce curieux personnage mène si bien sa défense qu'il en vient à accuser les fermiers généraux (les fonctionnaires royaux chargés de récolter l'impôt durant l'ancien régime). Sa campagne de dénigrement est telle qu'elle a un impact certain dans les accusations et sur les exécutions des Fermiers généraux pendant la Révolution française.
En 1812, la propriété appartient à Madame de Fleurieu. Philippine Calixte Sanson de Sansal, est l'épouse séparée de Jean Jacques Claret de Fleurieu, neveu d'un ministre de la Marine de Louis XVI. Madame de Fleurieu occupe une place importante à la cour impériale puisqu'elle est dame de compagnie auprès de Madame Mère, Marie Letizia Bonaparte, mère de l'Empereur. Philippine de Fleurieu est connue pour être une femme de goût mais très dépensière. C'est elle qui fait remanier le parc dans lequel on peut voir la mise en valeur d'une source et un vase ornemental au décor sculpté daté de la fin du XVIIIe ou début XIXe siècle.
Elle se préoccupe également de la décoration intérieure du château qu'elle fait réaménager. Le retour à l'antique dont raffole le premier Empire s'y trouve représenté avec les dessus-de-porte déclinant toute une mythologie décorative où Vénus, Diane et l'Amour rivalisent d'élégance. Les scènes allégoriques de ces six bas-reliefs sont ciselées dans du gypse, ce fameux plâtre de Paris réputé pour sa finesse et sa dureté, dont le sous-sol de Montfermeil était un grand producteur.
Comme la maison de l'Horloge et la maison de Bourlon, c'est Emile Hovelaque (1865-1936) qui sauve le château des cèdres de l'oubli. Après la mort de cet homme de culture qui a largement contribué à sauvegarder le patrimoine de Montfermeil, le domaine des Cèdres devient un élevage d'oiseaux, puis un centre de protection de l'enfance. En 1994, la municipalité achète le parc et son château. L'ensemble constitue une propriété de 3,5 hectares d'espaces verts et d'un bâtiment de quinze pièces.
Désormais, le château rendu célèbre par le roman de Tancrède Martel abrite le service Action communale et accueille les activités culturelles et artistiques de la ville. Sa situation géographique, proche du centre ville, et son histoire étroitement liée à celle de Montfermeil en font un site privilégié. Le château des Cèdres sert de cadre, chaque année, au Son et Lumière, spectacle historique où sont utilisés certains des 1500 costumes et autres accessoires qui y sont conservés.