Hasta el siglo xix tuvo en su centro una
torre defensiva, pero ésta fue destruida junto con toda la parte central en la Guerra de la Independencia por las tropas napoleónicas. Diez años más tarde el
puente fue reconstruido. La torre quedó sumergida en el
río, pudiéndose observar vestigios de ella en las inmediaciones del charco de las tenerías. Situado dominando el río y el puente, es el punto más elevado del
valle. Construido sobre un castro vetón que fue destruido por los
romanos. Fue edificado en el siglo xii y reconstruido en el siglo xiv. Su perímetro es cuadrado, la superficie puede calcularse en 1700 m² sin tener en cuenta las dependencias desaparecidas como el foso y contrafoso, el rastrillo, el
palomar o las caballerizas.