Destaca su portada, en cuya cornisa se encuentra el escudo de los Condes, sostenido por dos maceros. En la parte superior se puede apreciar la figura de una mujer asomada a una ventana que representa la venganza del Conde por  el gusto a las rondas de su esposa.

Llama la atención su larga fachada, que está dividida en dos partes. La parte izquierda, está compuesta por balconadas adornadas con frontones herrerianos y la parte derecha, más dinámica, consta de una galería de doble arquería, rematada por una robusta torre de planta cuadrada, estilo herreriano y grandes ventanas.

Su interior gira alrededor de un patio central con doble piso, desde donde se distribuyen las estancias.

El Palacio fue declarado Bien de Interés Cultural en el año 2000 y actualmente es la sede del Palacio de Justicia.