El origen de esta torre señorial no puede datarse con exactitud, aunque parece remontarse a los siglos XIV o XV, si bien aparecen referencias a la misma del siglo XIII. Fue adquirida en 1431 por el Conde de Haro, pasando a formar parte del mayorazgo de Don Pedro Fernández de Velasco en 1458, y más tarde a Don Bernandino Fernández de Velasco (duque de Frías).
Consiste en un cuadrado de 10,90 por 9,70 metros de lado y 1,65 de grosor. El ingreso, de arco apuntado, se halla en el centro del lienzo Norte a la altura del primer piso, al que se ascendía por un patín hoy desa­parecido. En el centro de cada lado, en la última plan­ta, se abre una saetera encuadrada por buenos silla­res.
Hay otra encima de la vivienda adosada al Sur. Son los únicos vanos primitivos, ya que los restantes son aperturas posteriores. Los matacanes se apoyan en doble serie de canes ensanchando el adarve. Les coronan delgadas y puntiagudas almenas. Las esqui­nas están ligeramente achaflanadas. A pesar de que todo es de excelente sillería, ya se ha arruinado gran parte del coronamiento. El resto de la torre es de mampostería, destacando muy buena sillería en las esquinas.
El paralelismo con las torres de Arenillas, Vizmalo y Villaute es claro, aunque esta de Olmos de la Picaza les gana en esbeltez. Interiormente tiene sótano y cuatro plantas que anti­guamente debieron de ser únicamente tres. Puede com­probarse fácilmente cómo a medida que ascienden los muros se estrechan notablemente (entre el 1.° y 2.° piso, 20 cms.). Hoy la torre hace de vivienda campesina y el último cuerpo de palomar.
Una información de 1774 hablaba de “Un fuerte a modo de Castillo sin tejado, en el que nadie habita, ni puede habitar que es correspondiente a los Estados del Excmo. Duque de Frías, dueño desta jurisdicción”