Por diversas fuentes históricas, litúrgicas y arqueológicas, sabemos que durante la segunda mitad del siglo IV la pequeña iglesia fue sustituida por una gran basílica, llamada Santa Sión y considerada la madre de todas las iglesias. Además del Cenáculo, incluía el lugar de la Dormición de la Virgen, que la tradición situaba en una vivienda cercana; también conservaba la columna de la flagelación y las reliquias de san Esteban, y el 26 de diciembre se conmemoraba allí al rey David y a Santiago, el primer obispo de Jerusalén. Se conoce poco de la planta de este templo, que fue incendiado por los persas en el siglo VII, restaurado posteriormente y de nuevo dañado por los árabes.