Édifiés au XVIe siècle par le vicomte de Puységur, les murs de l'ancien château de Clichy-sous-Bois ont vu passer la belle Gabrielle d'Estrées et Madame de Sévigné. En 1930, la municipalité devient propriétaire du château et de son parc. Il est, depuis, l'Hôtel de Ville de la commune et a été classé monument historique en 1972.
Le vicomte de Puységur fait élever son château au début du règne d'Henri IV. La tradition veut que la favorite du roi, Gabrielle d'Estrées (1573-1599) y passe quelquefois pour y retrouver son royal amant. On rencontre la belle Gabrielle dans d'autres endroits du département comme le château de la Briche, à Epinay-sur-Seine, où elle aurait également séjourné. Le "Bon Roi Henri" est omniprésent en Seine-Saint-Denis. Après avoir abjuré le protestantisme et ouï la messe à l'abbaye de Saint-Denis, on trouve trace de son passage dans nombre de communes de notre département.
Ainsi, il donne ses rendez-vous de chasse (ainsi que ses rendez-vous galants) dans la forêt de Bondy ou au Vert Galant, à Vaujours. C'est dans le château de Clichy-sous-Bois qu'il retrouve Gabrielle d'Estrées. Plus près de Paris, d'autres étapes de chasse, comme l'ancien bois de Romainville ou l'actuel Pré-Saint-Gervais revendiquent son passage.
Le surintendant des Eaux et Forêts de Louis XIV, Robert de Bragelongne, acquiert le château en 1645. Il y apporte quelques transformations puis le cède au comte Jean-Antoine d'Avraux. Celui-ci, très lié avec Madame de Sévigné (1626-1696), y reçoit la célèbre épistolière. C'est ensuite le financier Charles Gayler, séduit par le parc, qui prend possession du château et s'applique à l'agrandissement du domaine. Gayler désire supprimer le jardin à la française du domaine et charge Alexandre Théodore Brongniart (1739-1813) de la réorganisation du parc. Cet architecte français est l'auteur de nombreux bâtiments néoclassiques parisiens mais aussi de l'église Saint-Germain-l'Auxerrois à Romainville. Brongniart ne s'intéresse pas qu'aux pierres. Il tient l'art des jardins comme essentiel.
Son projet pour le parc de Clichy-sous-Bois s'inscrit dans le goût des jardins anglais à la mode en France à la fin du XVIIIe siècle. Il travaille sur la variété et le foisonnement de la nature contrairement à l'ordonnance géométrique qui présidait jusqu'alors dans ce parc. Entre les mains de Brongniart, le nouveau visage du jardin prend forme avec des rocailles et de fausses ruines entourant un étang au contour sinueux. Il en fait émerger plusieurs îles et érige un temple de l'Amour sur la principale. L'ensemble est traité à la manière d'un décor de théâtre.
Au siècle suivant les aménagements de Brongniart, Le Bas de Gourmont, fermier général et maire de Clichy de 1791 à 1794, fait édifier une orangerie. Sa façade est ponctuée d'arcades séparées par de grands pilastres ioniques supportant une corniche. Le fronton, situé au nord du bâtiment, a probablement été ajouté au XIXe siècle, lorsque la façade du château auquel appartient l'orangerie est réaménagée. En 1807, le château entre dans les possessions du banquier Barmont. Il y apporte plusieurs transformations dont celle de la façade. Celle-ci est refaite dans le style néoclassique avec l'ajout du fronton, du portique de l'entrée et des balcons, lui donnant sa physionomie actuelle.