Carlos I, en su último viaje desde Laredo al
Monasterio de Yuste, donde se recluyó hasta su muerte; permaneció en este lugar varios días. No se sabe con precisión el lugar donde se hospedó; se piensa que en el
Hospital de la Vera
Cruz, o en la
Casa de la Cadena, aunque lo más probable es que se alojara en el alcázar, ya que los cronistas nos hablan de ”
palacio", sin que haya existido nunca ninguno.