La fortificación levantada entre los siglos XV y XVI ha ido perdiendo muros y piedras, al mismo ritmo que las exigencias defensivas. Hoy se conservan algunos paramentos y elementos que dotaban al castillo de aditamentos de defensa y ataque.

La torre del homenaje sobresale entre las construcciones locales.  Contaba con varias plantas iluminadas a través de aspilleras, y en lo más alto el adarve; una escalera comunicaba estos espacios por el interior. La torre disponía en la parte superior con escaraguaitas (pequeñas torres cilíndricas salientes en los ángulos con función defensiva y ornamental) y tronera para armas de fuego tipo arcabuz.

Para proteger la torre y el espacio residencial se levantó una cerca con torres en las esquinas. La residencia señorial se adosaba a los muros de la muralla entorno a un patio interior con pozo. Los señores del castillo, la familia de los Hurtado de Mendoza, trasladaron pronto su residencia al nuevo palacio que mandaron construir en las afueras del pueblo a finales del XVI, ahora con estética renacentista. Y el castillo cayó en desuso.

No muy lejos de Hinojosa en tierras apellidadas de la Sierra y de esta comarca de El Valle se conservan construcciones defensivas de gran interés y simbología en el territorio como la Casa-fuerte de San Gregorio y la Torre-palacio de Aldelaseñor.