En el siglo XV la familia de los Rojas mandó construir una casa fuerte sobre una fortificación original (siglo XIII) compuesta por una torre y una cerca. En 1419, el obispo de Palencia y de Toledo, don Sancho de Rojas, fundó a favor de su sobrino, don Juan Rodríguez de Rojas, un mayorazgo que incluía la villa de Cavia y su casa fuerte.

El conjunto fortificado es algo complejo y de forma irregular. Está formado fundamentalmente por una torre y una cerca poligonal, a los que, a lo largo del tiempo, se fueron añadiendo la casa fuerte y nuevos elementos como resultado de diversas ampliaciones.

La parte más antigua parece ser la torre y un tramo de lienzo de perfil redondeado situado en el lado sur. La torre es de planta romboidal y lados desiguales. Cuenta con algunas saeteras y un ajimez cegado que forma arquillos apuntados en el lado norte. La parte superior es un añadido posterior. De sus cuatro plantas, tres son utilizadas actualmente como palomar.