Se trata de un edificio del siglo XVIII, con puerta barroca de 1810, que da acceso a un patio con capilla. El zaguán da paso al cuerpo principal o rotonda, donde estaban instalados los ochenta y cuatro telares de paños. La traza del edificio se debe al arquitecto Manuel de Villegas, con reformas posteriores de Ventura Padierne. La Fábrica se entiende como proyecto de una nueva ciudad, a lo que contribuye la concepción del edificio como una construcción a gran escala, con una forma geométricamente cerrada.
Destacan como parte intrínseca de la fábrica sus jardines versallescos, con parterres y cipreses, adornados con farolas, miradores, cenadores y fuentes.