Aún así se desplazaron al lugar el día 14 de noviembre de 1561 para concretar definitivamente la mejor ubicación donde poder levantar el
edificio. Según la crónica del padre Sigüenza, un viento huracanado asaltó al grupo de expertos: «no les dejaba llegar hasta el sitio, y arrancó las bardas de la pared de una viñuela que fueron directos hacia sus rostros«.