El palacio abandonado sin techo de estilo clásico, que parece tan fuera de lugar en medio de estos edificios orientales, fue comenzado por orden del emperador Carlos V en 1538. Nunca fue terminado. La intención del César flamenco parece haber sido establecer aquí una residencia permanente, desde donde pudiera contemplar las bellezas del palacio morisco. El edificio es un cuadrilátero de cuatro fachadas, cada una de diecisiete metros de altura. El piso inferior es de orden toscano, el superior, jónico.
Algunos de los portales de mármol son muy finos. En la decoración aparecen alusiones a las campañas, por mar y tierra, dirigidas por el Emperador, su lema, Plus oultre, y el emblema del Toisón de Oro. El interior del palacio está ocupado por un imponente patio circular, con una galería sostenida por treinta y dos columnas. La escalera tiene un diseño noble y, en conjunto, el palacio, si se hubiera terminado y construido en casi cualquier otro lugar, habría sido un digno monumento del reinado de Carlos.
