Sobre un pequeño altozano se levanta esta fortaleza, que consiste en una cerca de mampostería, en una de cuyas esquinas se levanta la torre del homenaje. El torreón es un prisma rectangular rodeado de una cerca, que abraza todos los lados, excepto el norte, formando un pequeño patio de armas. Sus lados rondan los 10 metros de longitud y alcanzan los 20 de altura. La reforma interior se ha hecho respetando los suelos y los elementos estructurales que se conservaban, apoyos, vigas etc. y en lo que se ha añadido no se ha desvirtuado su estilo anterior.

Hay muy pocas saeteras, destacando un balcón con marcadas impostas. En cada esquina de la torre hay dos canes formados por tres modillones, a los que completan otros dos más simples en el centro de cada cara, con el fin de servir de apoyo a las buhardas defensivas con las que contaba el edificio. Esta disposición de ménsulas difiere de la de matacanes corridos propia de la primera mitad del siglo XV.

Su acceso primitivo acceso era una puerta elevada a la que se llegaba mediante una escalera exterior de piedra adosada al muro, hoy desaparecida. Encima de esta puerta se sitúa un escudo de armas correspondiente a sus fundadores, y en las esquinas de esta fachada se hallan dos pequeños escudos de la familia Bernuy. Existe otra puerta abierta en otra cara de la torre y a ras de suelo, que es posterior.

La torre, situada en el punto más alto del terreno, está realizada a base de mampostería, excepto en las esquinas y en las ventanas, en las que se emplea el sillarejo. Como muchas otras torres similares, más que una función defensiva tenía como objetivo demostrar el poderío de sus propietarios. Es más que probable que estuviese almenada y que, como en muchos otros casos, dichas almenas fuesen hechas destruir por la corona como símbolo del triunfo del poder real sobre la nobleza.

En los primeros años del siglo XI, aparece poblado el lugar por inmigrantes vascongados, quienes le dieron el nombre de Zumel, que en lengua ibérica significa “mimbrera”. A mediados del siglo XV Diego de Ulloa afincado en Toro, construyó en sus feudos de Zumel el castillo del que aún quedan el torreón y restos de la cerca que lo amurallaba, formando en su interior el patio de armas.

La torre se levanta en un lado, en el punto más alto del montículo en que se asienta. En cada esquina de la torre dos canes formados por tres modillones, completados con otros dos en el centro de cada lienzo, fueron la base de las buhardillas que defendían la fortaleza por sus cuatro lados. En las esquinas algunos escudos recuerdan el linaje de los Bernuy, familia judeo-conversa y de afamados laneros burgaleses y regidores de la ciudad.

El primero de ellos, Diego Bernuy y su esposa Isabel Orense de la Mota, fundaron en 1562 el Hospital de la Concepción de Burgos, al que dotaron espléndidamente. Diego Bernuy, compraría a los Ulloa la torre y el heredamiento de Zumel, con sus casas, molinos, huertas y tierras de labor en 1516, titulándose desde entonces alcaide del castillo de Zumel en el valle de Santibánez en las Montañas de Burgos. Años después de la muerte de Diego de Bernuy, sus descendientes marcharían a tierras andaluzas, estableciéndose en Benamejí (Córdoba), localidad de la que ostentan el título de señores en el año 1548; recibieron también de Felipe II el de mariscales de Alcalá la Real, al que añadieron, en el año de 1675, el título de marqueses de Benamejí.

No menos importancia tiene en la historia local don Juan de Zumel, escribano mayor del Ayuntamiento de Burgos, quien en 1518 exigía al emperador Carlos V ante las cortes convocadas en Valladolid, que jurase los privilegios, costumbres y buenos usos de los pueblos de España, a su llegada al reino, en las vísperas de las revueltas de las Comunidades de Castilla.