Bien que surnommée « le château », la maison bourgeoise de l'avenue Victor Hugo, construite à la fin du XIXe siècle, n'a aucun lien avec l'ancien château de Villetaneuse. Construit au XVIIIe siècle, celui-ci était la propriété du marquis de Beauveau. Transformé en blanchisserie en 1883, il a aujourd'hui disparu.
Cette maison a été construite par un notable villetaneusien qui a fait fortune dans l'exploitation des carrières de gypse. L'exploitation du gypse, ou pierre à plâtre, a été longtemps l'une des principales richesses du sous-sol de la région parisienne. Les grands travaux parisiens du XIXe siècle ont favorisé l'extension des carrières de calcaire grossier (autre nom du gypse) exploité comme pierre à bâtir. L'extraction des gisements se fait à ciel ouvert lorsque la « masse » affleure le sol ou par des puits de 5 à 20 mètres de profondeur. L'exploitation du calcaire grossier se conduit par la méthode des « piliers tournés » ou par « hagues et bourrages ». La première consiste à laisser régulièrement une masse de pierre en place pour soutenir le ciel de carrière. Afin de réduire la portée du ciel, les carriers donnent aux galeries une structure ogivale et les nomment, à juste titre, des « cathédrales ». Les ciels formant la voûte de ces immenses salles, très impressionnantes, peuvent atteindre 16 mètres de hauteur. On en trouve de très belles à Livry-Gargan.
La seconde méthode consiste à soutenir le ciel par des « cales », superpositions de blocs de pierre grossièrement taillés, les vides étant remplis par des déchets d'exploitation ou des terres apportées de l'extérieur. Ces bourrages sont maintenus par des murs en pierre sèche, les « hagues ». L'exploitation de ces gisements était très lucrative. On trouve des carrières de gypse dans une grande partie du sous-sol de la Seine-Saint-Denis et, notamment, à Villetaneuse mais aussi à Romainville, Vaujours, Gagny ou Neuilly-sur-Marne.
L'extérieur de notre maison bourgeoise rappelle le style des villas balnéaires, à l'aspect pseudo anglais. À l'intérieur, un escalier monumental en bois donne accès aux étages. Le décor intérieur, luxueux, est agrémenté de plafonds constitués de caissons en bois de stuc peints, ornés chacun d'un pendentif à motif d'acanthe et de feuilles de chêne. Une élégante porte en vitraux colorés donne la touche finale à la décoration de cet intérieur typique de la tradition des maisons bourgeoises de la fin du XIXe siècle, comme en témoigne le musée d'histoire de Rosny-sous-Bois.
Aujourd'hui, l'ancienne maison de l'exploitant de carrières de gypse est la propriété de la municipalité qui y a installé son Centre culturel - centre d'initiation culturelle et artistique (CICA) depuis 1984.