Fue construido en el año 1453 por el ilustre obispo de Ávila, don Alonso de Fonseca, bajo la dirección del arquitecto Alí Caro. A su muerte la obra fue continuada por su hermano