Carlos I, en su último viaje desde Laredo al Monasterio de Yuste, donde se recluyó hasta su muerte; permaneció en este lugar varios días. No se sabe con precisión el lugar donde se hospedó; se piensa que en el Hospital de la Vera Cruz, o en la Casa de la Cadena, aunque lo más probable es que se alojara en el alcázar, ya que los cronistas nos hablan de ”palacio", sin que haya existido nunca ninguno.