En el exterior, adosado al edificio, se encuentra el arco de medio punto a modo de puerta de muralla fuerte. Se corona con merlones acabados en punta. Su función era cerrarse por las noches para separar el barrio moro del cristiano y así se hizo hasta la expulsión de los moriscos de la localidad el 28 de diciembre de 1609.

A la vez que se construyó el Palacio, se planteó un espacio ajardinado, los Jardines Renacentistas, que representan el esplendor palaciego dividido en dos partes.

El primer jardín está diferenciado en varias zonas: fuente con surtidor, parterres con nudos, teatro verde y jardín de las hierbas (contiene numerosas plantas aromáticas, medicinales y culinarias). El segundo, es el llamado jardín de la memoria, de inspiración barroca con diversas plantaciones, pequeño teatro de espejos y un reloj astronómico.

En el año 2003 la Sociedad de Amigos del Real Jardín Botánico de Madrid le otorgó el premio a Mejor Jardín Histórico.