La Casa Carvajal datada en el siglo XVI, es el único edificio que mantiene un escudo nobiliario tallado en la fachada. Dicho escudo representa a la Familia Carvajal. Aquí nació D. Pedro de Carvajal, Capitán de la Armada y Virrey de Nápoles. D. Pedro Carvajal fue gran devoto de San Martín, se acredita en el inventario de la ermita de San Martín por las donaciones que hace. Arquitectónicamente hay que destacar el balcón de madera y las labores en las vigas de madera que separan la primera y segunda planta, estas vigas de madera tiene un excepcional tallado en su extremo. (Alguien atribuye que las diferentes labores de estas maderas, corresponden a los Pendones de Castilla. Lo que sí es cierto que varias edificaciones, muy antiguas por cierto, poseen un número de vigas coincidentes con esta).
Según la tradición, una descendiente de esta familia llamada Isabel de Carvajal iba a casarse con un sobrino del Obispo de Plasencia. Sin embargo, este hecho comprometía su carrera eclesiástica, y en el último momento la abandonó esto condenó a la familia Carvajal a la deshonra eterna. Isabel abandonó su hogar para marcharse a la Sierra donde vivía en una cueva. Como odio condenaba a todos los hombres que se cruzaban en el camino. Los llevaba a su cueva donde los daba de cenar, los emborrachaba, abusaba de ellos y finalmente los mataba. Hasta que un serranillo pudo escapar de sus garras y este informó de la presencia de la serrana. Fue perseguida y capturada por la Inquisición. Finalmente Isabel de Carvajal fue condenada a morir, ahorcada en la Plaza de Plasencia.