Al entrar en Covarrubias por el norte es necesario cruzar la puerta principal de la villa, atravesando el arco sobre el que se levanta este majestuoso edificio. Fue mandado construir en 1575 por Felipe II para guardar en él todos los documentos y escrituras que emanaban del Adelantamiento de Castilla. La traza y el proyecto de esta obra se deben a Juan de Herrera y la ejecución corrió a cargo de Juan de Vallejo.

A pie de calle se encuentra la oficina de turismo de la localidad.

Este edificio aparece como un gigantesco prisma pétreo sostenido por ocho contrafuertes situados en sus lados, que, a pesar de su robustez, contribuyen a la armonía del conjunto. Su sobriedad queda atenuada con la delicada decoración plateresca de sus ventanas, las cuales se cubren con elegantes rejerías del siglo XVI. La fachada principal se compone de tres cuerpos con ventanas de medio punto adornadas con motivos renacentistas, especialmente la central, más grande, con columnas a los lados. En el centro de la parte baja se abre el arco de entrada, sin ninguna decoración. En lo alto campea el escudo de Felipe II con los cuarteles de todos sus estados, el Toisón de oro y la corona real. La planta baja alberga la puerta de la villa, y en ella se sitúa la escalera que da acceso a las superiores, que forman dos amplias salas abovedadas.

Los fondos documentales que albergaba fueron trasladados en el siglo XVIII al Archivo Nacional de Simancas, por lo que se buscó darle una nueva función. En el siglo XIX fue convertido en Ayuntamiento, y en la actualidad alberga un taller de cerámica, una sala de exposiciones y la Oficina de Turismo.