En primera instancia se observa que las primeras trazas que se conservan de Juan Bautista de Toledo proponían un edificio con una imagen muy diferente al que se construyó definitivamente: torres en el centro de cada una de las fachadas laterales (las huellas de la Torre de la Biblioteca aún son visibles en la fachada que da al Jardín, ya que se construyó en vida de Juan Bautista), dos torres en la cabecera de la iglesia y dos torres más en la portada principal, donde el Patio de Reyes quedaba abierto y dejaba ver en el fondo la portada de la Basílica.