Edificio de estilo neoclásico construido desde 1764 a 1770 por el ingeniero militar Juan Caballero y ejecutado en su mayor parte con piedra ostionera.
Originariamente su uso fue de Aduana en época de Carlos II. " El Hechizado ". Mas tarde fue elegido como Palacio de la Regencia durante la ocupación y asedio de las tropas napoleónicas y residencia de Fernando VII, durante el primer cuarto del siglo XIX.
En 1868 pasó a ser la residencia de la reina Isabel II, en su visita a la ciudad, época en la que se llevaron a cabo numerosas reformas, cerrándose uno de los tres patios originarios para construir el Salón Regio, de estilo isabelino, mezclando elementos decorativos clásicos, renacentistas y manieristas. El proyecto se realizó bajo la dirección del arquitecto Juan de la Vega, con esculturas de Juan Rosado y pinturas de Juan Bautista Vivaldi.
Destacar como anécdota que el Rey Fernando VII volaba cometas desde la azotea del palacio, con el fin de comunicarse con la guarnición de la que estaba al mando el Duque de Angulema, que se encontraba apostada al otro lado de la Bahía de Cádiz.
ADEMÁS DE ADUANA, ALBERGÓ GOBERNACIÓN CIVIL Y FUE SEDE DE LA ADMÓN. DE HACIENDA, ENTRE OTRAS OCUPACIONES, HASTA SER DESIGNADA COMO DIPUTACIÓN PROVINCIAL.
