Cedido en 1525 por el emperador Carlos V a las monjas agustinas que lo ampliaron y aún lo custodian. En una de sus estancias nació el 22 de abril de 1451 Isabel la Católica.