El Palacio en si no posee características arquitectónicas de relevancia. No así por el contrario ocurre con el lienzo de fachada gótica recayente a la actual Cuesta de Belén, conocido por el nombre de "Covachas". Las Covachas se emplazan en la calle Cuesta de Belén adosado al muro de contención del Jardín o Paseo de Los Limones del Palacio Ducal de Medina Sidonia. Ocupa un solar de 128,48 metros cuadrados de superficie útil y tiene forma rectangular con lados rectos de 27,23 metros de longitud, paralelos a la Cuesta de Belén, y 5,75 metros de fondo.
El espacio se cubre mediante bóveda de cañón y, en la actualidad, sólo se fragmenta por un paramento de carpintería de madera que crea un lugar reservado para proyecciones audiovisuales, necesario en su uso como Centro de Información Turística de la ciudad.
La galería interior se comunica con la Cuesta de Belén a través de diez pasadizos, manifestados al exterior mediante arcos apuntados rematados, en ocho de ellos, por gabletes. En los pilares sobre los que voltean los arcos, arrancan, desde basas, las nervaduras que molduran éstos, y, en el paramento ciego superior y sobre los pilares se sitúan las figuras zoomorfas aladas que documentos antiguos denominan «sierpes». Un fondo de tracerías llena los espacios entre esas figuras monstruosas evocadoras de seres mitológicos marinos que se disponen sobre pequeñas ménsulas y se rematan con doseles.
Por encima de las claves de los arcos, de forma alterna, existen repisas ochavadas con ornamentación vegetal, que también es del tipo que figura en el friso superior de guirnalda de frutos entrelazados entre hojarascas. Perduran vestigios de lo que aparentan ser arranques de pretiles, profusamente decorados, indicios de un cuerpo superior.
En el interior se conserva una lápida de 1744 conmemorativa de la edificación de unas oficinas en tiempos del gobernador don Salvador Roldán