Se cree que data del siglo XI. Su construcción se atribuye al reinado de Alfonso VI, que recuperó la villa en 1085. Este monarca dispuso una fortificación de carácter defensivo, que además permitía la fiscalización y control de mercancías y personas. Con este objetivo rodeó la zona de una muralla con cinco puertas de acceso: Puerta de Madrid, Puerta de Toledo, Puerta de Talavera, Puerta del Sol y Puerta de Ugena, conservada esta última parcialmente y cuyo aspecto actual corresponde a la restauración llevada a cabo en 1995.