Situado a 33 km de Burgos y 5 km al este de la capital del municipio, Villadiego, en la carretera BU-627 que, atravesando Olmos de la Picaza, nos conduce a Villanueva de Argaño, donde conecta con la autovía A-231. Está próximo a Tobar, Villegas y Manciles.
Panorámica de Olmos de la Picaza.
Se trata de una entidad local menor con alcalde pedáneo. Según los datos del INE de 2019, el número de habitantes de Olmos de la Picaza es de 16. Se ve incrementado notablemente por veraneantes en el periodo estival.
Olmos de la Picaza se ubica al pie de un sistema de páramos y frente a la campiña que mira a la Peña Amaya. El pueblo se asienta sobre un vallejo que va bajando y allanándose. La iglesia ocupa el lugar más bajo. En 1826, Miñano recogía que de las dos cuestas (a este y a oeste) en las que está ubicado el pueblo se filtran varios conductos de agua que hacen pantanoso el término. 2​
Situado en terreno montuoso y medianamente productivo, su economía se basa en la agricultura (principalmente el cultivo de cereales) y, en menor medida, en la ganadería

El origen de esta torre señorial no puede datarse con exactitud, aunque parece remontarse a los siglos XIV o XV, si bien aparecen referencias a la misma del siglo XIII. Fue adquirida en 1431 por el Conde de Haro, pasando a formar parte del mayorazgo de Don Pedro Fernández de Velasco en 1458, y más tarde a Don Bernandino Fernández de Velasco (duque de Frías).

Consiste en un cuadrado de 10,90 por 9,70 metros de lado y 1,65 de grosor. El ingreso, de arco apuntado, se halla en el centro del lienzo Norte a la altura del primer piso, al que se ascendía por un patín hoy desa­parecido. En el centro de cada lado, en la última plan­ta, se abre una saetera encuadrada por buenos silla­res.

Hay otra encima de la vivienda adosada al Sur. Son los únicos vanos primitivos, ya que los restantes son aperturas posteriores. Los matacanes se apoyan en doble serie de canes ensanchando el adarve. Les coronan delgadas y puntiagudas almenas. Las esqui­nas están ligeramente achaflanadas. A pesar de que todo es de excelente sillería, ya se ha arruinado gran parte del coronamiento. El resto de la torre es de mampostería, destacando muy buena sillería en las esquinas.

El paralelismo con las torres de Arenillas, Vizmalo y Villaute es claro, aunque esta de Olmos de la Picaza les gana en esbeltez. Interiormente tiene sótano y cuatro plantas que anti­guamente debieron de ser únicamente tres. Puede com­probarse fácilmente cómo a medida que ascienden los muros se estrechan notablemente (entre el 1.° y 2.° piso, 20 cms.). Hoy la torre hace de vivienda campesina y el último cuerpo de palomar.

Una información de 1774 hablaba de “Un fuerte a modo de Castillo sin tejado, en el que nadie habita, ni puede habitar que es correspondiente a los Estados del Excmo. Duque de Frías, dueño desta jurisdicción”.