Comme pour l'ancien château de Clichy-sous-Bois, celui d'Épinay-sur-Seine revendique le passage de Gabrielle d'Estrées (1573-1599), maîtresse en titre du roi Henri IV. Si cela n'est pas prouvé, la présence de Madame d'Épinay, en revanche, donne ses lettres de noblesse au lieu. Le château d'Épinay, devenu l'hôtel seigneurial d'Ormesson puis propriété du marquis du Terrail est devenu, depuis le 19 juillet 1908, l'Hôtel de Ville d'Epinay-sur-Seine.
Au XIIe siècle, presque toute la région appartient à la puissante famille de Montmorency. Puis, les terres sont fractionnées en plusieurs fiefs religieux ou laïcs. Depuis 1740, la famille de La Live de Bellegarde fait partie de ces différents seigneurs exerçant leur part de souveraineté féodale. Monsieur de La Live de Bellegarde est un fermier général (percepteur de l'impôt royal) qui, ayant acquis une grosse fortune grâce à sa fonction, achète l'ancien château de la Briche à Epinay. En 1745, son fils aîné épouse, à Paris, sa cousine Louise Tardieu d'Esclavelle (1726-1783). Celle-ci va devenir célèbre sous le nom de Madame d'Epinay.
Madame d'Epinay, femme de lettres elle-même, fréquente les salons littéraires parisiens, notamment celui déjà célèbre de Madame d'Houdetot, sa propre sœur. Madame d'Epinay reçoit dans son « petit château » de la Chevrette (voisin du château de la Briche et démoli en 1870) Denis Diderot et ses amis encyclopédistes, Montesquieu, Jean Sedaine, le baron de Grimm (un philosophe n'ayant rien à voir avec les frères du même nom), Marivaux, Damilaville, le secrétaire de Voltaire, et de nombreuses autres célébrités littéraires de son époque. Jean-Jacques Rousseau, qu'elle hébergera quelque temps en son chalet de l'Ermitage à Montmorency, fréquente aussi Épinay. Peut-être y a-t-il herborisé ? Certains historiens avancent que le salon de Madame d'Épinay, rendez-vous des libres-penseurs et des philosophes des Lumières, a probablement joué un rôle dans les idées qui animeront la Révolution française.
En 1755, le marquis du Terrail, fils d'un riche financier, achète le « grand château ». Il le transforme en « folie » en en faisant une maison de campagne d'une grande élégance. C'est ce dernier bâtiment qui, depuis 1908, est devenu l'Hôtel de Ville d'Epinay. Le bâtiment est construit en forme de T rappelant l'initiale du nom de son propriétaire. La façade principale, située au nord, est creusée en hémicycle. Sur les clés des fenêtres latérales du rez-de-chaussée, des mascarons représentent les attributs de la chasse, de la guerre, de la paix et de la musique. Quant aux mascarons des clés de voûtes des fenêtres de la façade ouest, ils symbolisent les quatre continents.
Le vestibule d'entrée et l'actuelle salle des mariages conservent leur décor du XVIIIe siècle. Les portraits d'hommes illustres y figurent : Lacepède (1756-1825), le fameux zoologiste et homme politique qui vécu et mourut à Épinay ; le maréchal Maison (1771-1840), né à Épinay dans une famille de paysans, il s'illustra durant les guerres napoléoniennes et fut nommé baron d'Empire ; Louis Georges Mulot (1792-1872) ; né à Épinay, cet entrepreneur de creusement de puits artésien s'est rendu célèbre en réalisant le puis de Grenelle à Paris dans les années 1840. Une rue de la ville porte son nom. Dans la cage d'escalier du hall sont accrochées des peintures de Raoul Arus (1848-1921) et de Gabriel-Charles Deneux (né en 1856) tandis que quatre grandes toiles marouflées réalisées en 1909 par Abel Truchet (1857-1918) et illustrant les quatre saisons ornent la salle du conseil.
Plusieurs propriétaires se sont succédé dans la maison du marquis de Terrail. Parmi ceux-ci, Don François d'Assise (1836-1894), consort d'Espagne, à qui le bâtiment doit d'avoir été appelé un temps le château des rois d'Espagne. Ce dernier apporta quelques transformations au bâtiment, notamment sur le fronton et sur la partie supérieure de l'étage sous comble de la façade sur cour. L'Hôtel de Ville est inscrit à l'inventaire des Monuments historiques en 1933.
Le pavillon avec véranda sur la façade du XVIIIe siècle, aujourd'hui le bâtiment administratif des affaires culturelles de la Ville, a appartenu à Louis Georges Mulot. Il est situé dans le parc paysager aménagé par le marquis de Terrail. Les vestiges de rocailles qui entourent le bâtiment datent de cette époque. Vaste jardin de trois hectares, Don François d'Assise prend, plus tard, beaucoup de soin à l'entretenir. La municipalité a fait l'acquisition de l'ensemble en 1841 et la maison de Mulot a été la mairie jusqu'à ce que celle-ci soit transférée dans l'ancien château du marquis de Terrail.
