La cripta fue encargada por Juan de Dios de Silva y Haro, X duque del Infantado, al arquitecto Felipe Sánchez, quien diseñó una cripta y capilla inspiradas en el panteón de los Reyes del monasterio de El Escorial de Juan Bautista Crescenzi. Las obras dieron comienzo en 1696.
Felipe Sánchez planteó un ejercicio barroco tanto en su composición como en su materialización. De una parte, la sala del panteón se resolvió con una planta elipsoidal, con ocho pilastras que sirven de apoyo a los arcos que vertebran la cúpula rebajada que cubre la estancia, en clara referencia al mausoleo escurialense pero también a la iglesia de San Andrés del Quirinal de Roma. Los nichos para los sarcófagos se emplazan en cada uno de los intercolumnios, ocupando en orden vertical todo el paño, a excepción del hueco de entrada al panteón y del gran vano de comunicación con la capilla aneja.