Se levanta a la entrada del pueblo, viniendo desde Panizares, y fue construido en sustitución de la casa solariega que se quemó, por D. Pedro Ruiz de Valdivielso, el mismo que hizo la capilla. Pasó a los Vélez de Valdivielso, pues en 1752 lo poseía Doña Josefa Vélez Valdivielso, vecina de Quecedo. Se trata de un magnífico edificio de sillería de estilo herreriano, con dos torres de tres pisos y amplios salones. Actualmente se encuentra habitado por varias familias."
El estado de conservación, al menos exteriormente, es bastante bueno, probablemente por la excelente sillería que muestra, aunque se echa en falta un uso más acorde con la calidad del edificio.