Depuis le Moyen-âge, Saint-Ouen est un lieu de résidences de personnalités importantes. Au XIIIe siècle, Guillaume de Crépy y fait construire un manoir qu'il cède ensuite à au roi Philippe de Valois. Le financier et homme d'État Jacques Necker (1732-1804) y possède un château. Sa fille, la célèbre Madame de Staël (1766-1817) y réside plusieurs années. Il ne reste aucune trace de ces demeures. Seul, le château que fait construire Louis XVIII sur l'emplacement de celui de Joachim Seiglières est encore visible.
Au XVIIe siècle, Joachim Seiglières de Boisfranc se fait construire un château sur son domaine de Saint-Ouen en faisant appel à l'architecte Antoine Lepautre (1621-1691). Antoine Lepautre est un protégé du cardinal Mazarin qui le fait nommer architecte du roi. Il réalise nombre de bâtiments comme l'Hôtel de Beauvais rue François Miron à Paris ou le château de Saint-Cloud pour Monsieur, frère du roi. Il est aussi l'architecte de la grande cascade du château de Saint-Cloud et des écuries et de la remise à carrosses pour le château de Colbert, à Sceaux. Les travaux du château de Joachim Seiglières à Saint-Ouen s'étalent de 1664 à 1669. Il n'en demeure aujourd'hui que la grille en fer forgé de la terrasse, conservée dans l'actuel musée du château. Toutefois, des gravures d'Israël Sylvestre, un graveur d'importance du XVIIe siècle, nous permettent d'imaginer le bâtiment qui se composait d'un grand pavillon central, entouré de deux ailes, dans le style du classicisme de cette époque.
Au fil des années, le château change à plusieurs reprises de propriétaires avec un passage entre les mains de la marquise de Pompadour de 1759 à 1764. En 1811, Vincent Potocki, général de cavalerie et grand chambellan de Pologne, acquiert avec son épouse le domaine de Saint-Ouen. Il y accueille, le 2 mai 1814, Louis XVIII lors de son retour en France après la première abdication de Napoléon. C'est au château de Saint-Ouen que Louis XVIII signe, sous la pression du tsar Alexandre 1er et l'influence de Talleyrand, la déclaration dite de Saint-Ouen dans laquelle il reconnaît, malgré le rétablissement de la monarchie, certaines libertés acquises sous la Révolution et pendant l'Empire. Il y annonce la charte de la Restauration.
En 1820, Louis XVIII rachète le château. Il réalise lui-même des croquis et charge l'architecte Jean-Jacques-Marie Huvé d'édifier, en partant de ses esquisses, un bâtiment qui restera l'un des rares témoins de l'architecture de la Restauration. Le château terminé, Louis XVIII le cède à sa dernière favorite, la comtesse Zoé du Cayla. Jean-Jacques-Marie Huvé (1783-1852) n'est pas le premier venu. Cet architecte néoclassique a été l'élève de son père, Jean-Jacques Huvé, de Charles Percier et de Pierre-François Léonard Fontaine. D'abord surveillant des travaux de l'église de La Madeleine, il prend la direction du chantier à la mort de Pierre-Alexandre Vignon qui en était l'architecte. Après avoir été architecte de l'administration des Postes, il devient membre de l'Institut de France, section architecture, et président de la Société des Beaux-Arts. Dans son atelier, il forme Eugène Viollet-le-Duc (l'architecte de l'église Saint-Denis-de L'Estrée à Saint-Denis), et compte parmi ses élèves Gustave Guérin et Charles Laisné.
De 1821 à 1823, Huvé se consacre au château de Saint-Ouen. Sous sa direction, le pavillon s'orne des œuvres du peintre François Gérard (1770-1837), du célèbre ébéniste Pierre Antoine Bellangé (1760-1844) qui a fabriqué des meubles pour tous les Grands européens et est considéré comme la référence du style Empire, des bronzes et des luminaires de Jean-Jacques Feuchère (1800-1852). Douze colonnes de marbre s'articulent autour de la salle à manger. Surélevées sur des caissons, elles sont disposées aux quatre angles ou jumelées au centre de chaque panneau, créant un contraste avec les teintes des stucs polychromes. Les fenêtres, cernées d'une double arcature en plein cintre, sont surmontées d'une large corniche supportée par les chapiteaux des colonnes. Au plafond, à caissons sculptés de motifs floraux, est suspendu un lustre à quatorze branches. La salle à manger a été classée monument historique en 1965.
La salle de billard est probablement la plus belle pièce du château. Moulures et dorures entourent les portes et les encadrements. Lors de son inauguration, le 2 mai 1823, le peintre François Gérard, peintre officiel du roi, y présente quatre œuvres sur le thème des saisons et deux tableaux : Madame du Cayla et ses enfants et Louis XVIII à sa table de travail. Ces deux toiles ne sont plus à Saint-Ouen mais conservées au château Beauvau-Craon à Haroué en Lorraine. Dans le premier quart du XIXe siècle, lors de la création de cette salle, il était de tradition de disposer le billard au centre de la pièce. Si le billard n'est plus là, on y voit toujours les six plots de marbre, incrustés dans le parquet, sur lesquels il était posé. On accède à l'étage par un grand escalier à la rampe sculptée dans de l'acajou de Cuba et aux balustres ornés de gueules de lions dorés. La petite histoire voudrait que la hauteur des marches ait été volontairement réduite afin que Louis XVIII, vieillissant, puisse les gravir plus aisément.
À la mort de la comtesse Zoé du Cayla, en 1852, sa fille, la princesse de Beauvau-Craon, hérite du château de Saint-Ouen. La propriété est louée à une société hippique à partir de 1881, puis vendue à la société industrielle Thomson-Houston en 1917. La municipalité acquiert le château et une partie du parc en 1958 et le bâtiment est restauré entre 1963 et 1965, peu de temps après son inscription à l'inventaire des monuments historiques en 1961.
Aujourd'hui, l'édifice se présente sous la forme d'un pavillon carré à l'italienne sur trois niveaux. Chaque niveau est conçu différemment, avec de grandes fenêtres en plein cintre au rez-de-chaussée, rectangulaires au premier et carrées et plus petites au second. Un péristyle à colonnes doriques encadre l'entrée principale. Il est surmonté d'un entablement et d'un balcon à balustres du haut duquel, dit-on, la comtesse Zoé du Cayla admirait la Seine.
Les vastes et belles pièces aux portes en loupe d'orme de cette maison de plaisance du XIXe siècle ont même accueilli le musée d'Art et d'Histoire de Saint-Ouen. Plusieurs dizaines d'œuvres d'art contemporain (sculptures, tapisseries, dessins aquarelles), issues d'une collection de plus de trois cents pièces, composaient l'exposition permanente du musée. La collection compte, entre autres, des œuvres de Gromaire, Léger, Picart le Doux, Pignon, Richier ou Lurçat. À l'étage, l'histoire locale y était racontée avec des gravures anciennes ainsi que des objets et des documents relatifs à l'histoire de Saint-Ouen.
Le musée est fermé depuis 2005 mais les œuvres sont prêtées par la ville pour des expositions temporaires ou permanentes et des conférences, et certaines œuvres sont exposées dans d'autres lieux de la ville.
En décembre 2016, la princesse Minnie Beauvau-Craon a mis en vente une partie du mobilier du château de Saint-Ouen. L'État français a acheté ce trésor du patrimoine national. Le patrimoine mobilier du chateau de Saint-Ouen est actuellement exposé au château de Maisons-Lafitte dans les Yvelines pour une restauration "ouverte". Ces pièces devraient ensuite retrouver leur lieu d'origine qui serait reconverti en musée de la Restauration.