Les plus anciens textes mentionnant Livriacum (Livry) datent du XIIe siècle. À cette époque Etienne de Garlande est le seigneur de Livry. À la suite d'invasions, son château féodal est détruit. Il fait alors reconstruire un manoir et entoure le village de murs pour se protéger. C'est grâce à une donation de Philippe Auguste que l'abbaye Notre-Dame de Livry est fondée. Parmi les abbés qui la dirigèrent figure Christophe de Coulanges, oncle et tuteur de Marie Rabutin Chantal, la future marquise de Sévigné.
La croisade seigneuriale conduite par Godefroy de Bouillon traverse les terres byzantines en automne 1096 et au printemps 1097. Cette croisade comprend quatre armées distinctes conduites par des chevaliers venus de Lorraine, de Normandie, de la France méridionale et de l'Italie du Sud. Parmi les seigneurs croisés, quatre chefs chrétiens se distinguent au cours du premier siège : Tancrède, Guy de Possesse, Roger de Barneville et Gauthier de Garlande.
La famille de Garlande tient son nom d'un domaine situé dans la Brie. Guillaume de Garlande, seigneur de Livry, le frère de Gauthier le croisé, a quatre fils qui deviennent des familiers de la cour de Philippe 1er (1052-1108). Le plus célèbre des quatre fils de Garlande, Etienne, fonde sa carrière sur le soutien qu'il apporte, pour des raisons politiques, à Philippe 1er dans une histoire de mariage adultérin qui provoque l'excommunication de celui-ci. Etienne de Garlande est l'ami de Suger, l'évêque de Saint-Denis, et d'Abailard, le fameux philosophe. Combattant le pape et combattu par Saint-Bernard, Etienne de Garlande est le personnage le plus important après le roi. Dans sa soixante-dix-huitième lettre, écrite en 1127 et adressée à Suger, Saint-Bernard censure vigoureusement la conduite d'Etienne en désaccord formel avec les canons de l'Eglise.
Protecteur de l'Université, c'est en l'honneur du seigneur de Livry que le quartier des écoles est nommé "Pays de Garlande" avant de devenir le "Pays latin" (l'actuel quartier latin). Ce quartier avait pour artères principales les rues Saint-Jacques, du Fouarre (où s'élevaient les grandes écoles) et de Garlande, devenue rue Galande par altération. Etienne de Garlande meurt en 1150.
Le dernier roi capétien, Philippe Auguste (1165-1223, le constructeur de la fameuse enceinte autour de Paris) favorise les ordres monastiques dans le but de se concilier le clergé. Construite en 1197, l'abbaye de Livry dépend de celle de Senlis. Afin de lui donner son indépendance, Philippe Auguste rachète tous les biens de la famille de Garlande et les concède à l'abbaye vers 1200. Celle-ci est consacrée par Sully et placée sous l'égide de Notre-Dame. En échange, les moines doivent veiller sur les tombeaux des seigneurs de Garlande et prier pour le repos de leur âme. Une quarantaine d'abbés s'y succèdent jusqu'à la Révolution.
Parmi les abbés de Notre-Dame de Livry, se trouve Christophe de Coulanges (1607-1687). Il accueille à l'abbaye sa nièce, Marie de Bussy Rabutin Chantal (1626-1696), dont il est le tuteur et qui y passe une bonne partie de sa jeunesse. C'est lui qui la marie, en 1644, au marquis de Sévigné. Madame de Sévigné, dont l'abondante correspondance apporte de précieuses informations sur la vie aristocratique de son siècle, effectue de nombreux passages à Livry. De ces séjours, elle conserve le souvenir d'un lieu où « tout était riant, l'air, la verdure et même la pluie ». « Livry est mon lieu favori pour écrire, mon esprit et mon corps y sont en paix » a-t-elle l'habitude de dire.
Des terres de Garlande, il ne reste qu'un vaste parc de plus de vingt hectares quand Madame Lefevre-Perdonnet l'acquiert au XIXe siècle. La propriété comprend alors un jardin anglais, un potager avec pièce d'eau, un grand parc. Elle y fait construire, en 1864, un château de style Louis XIII, en briques et en pierres de taille. Dans une autre partie de la propriété se trouvent deux maisons de gardiens, des granges, des remises et des jardins. La municipalité rachète l'ensemble en plusieurs étapes, une première partie en 1956 puis, le reste en 1963. La municipalité de Livry-Gargan a pu disposer du château et des annexes en 1976.
Le parc Lefèvre, du nom de l'ancienne propriétaire, se réduit aujourd'hui à une dizaine d'hectares, le reste de la propriété ayant servi pour la construction d'un immeuble à caractère social. Le château a été transformé. À la place des deux jardins d'hiver ont été construites deux ailes latérales basses dans le même style que le château lui-même. À l'occasion de la restauration du bâtiment, plusieurs pièces ont été réaménagées dans le style Empire. Il abritait, depuis 1979, une bibliothèque et le Musée d'Histoire locale de Livry-Gargan. Ce musée proposait aux visiteurs de nombreux objets et documents liés à l'histoire de la ville, aux pratiques sociales et culturelles de ses habitants ainsi qu'aux personnages célèbres ayant vécu à Livry. Quatre pièces consacrées à la marquise de Sévigné.
Dernier vestige du parc de l'abbaye, le lac dit de Sévigné, boulevard Roger Salengro, rappelle que la marquise écrivait que « la beauté de Livry est au-dessus de tout ce que vous avez vu. Les arbres sont d'un vert admirable, tout est plein de chèvrefeuilles. Cette odeur ne m'a point encore dégoûtée. » À Livry, elle trouve la solitude propice à l'écriture et le bon air !
Le Château de Livry accueille désormais chaque année de nombreuses manifestations comme des expositions temporaires, conférences...
Le conseil régional d’Ile-de-France a créé un label patrimoine d’intérêt régional (PIR). C'est une distinction accordée aux bâtiments du patrimoine historique francilien ni protégés, ni classés mais qui témoignent de l'histoire de la région. Le château de la Forêt de Livry-Gargan a été labellisé en novembre 2018.