Pertenece al segundo recinto amurallado. En su muro oriental se puede descubrir la "Cabeza del Moro", que se trata en realidad de la cabeza de un verraco, cuyo cuerpo forma parte de la estructura de la torre y es uno de los pocos vestigios de la cultura vettona que quedan de la Talavera Céltica.
La denominación de Torre del Polvorín es del siglo XVIII, porque se utilizó como depósito de pólvora para el ejército.