Durante los últimos años del siglo XVI, Covarrubias vio reducida su población por una mortal epidemia que asoló a toda España, por lo que en 1590 Francisco Vallés mandó demoler sus murallas para una mejor ventilación de la villa, sólo quedan restos de la muralla junto a la Colegiata.