El origen del castillo se remonta a la construcción de la torre del homenaje, torreón al que se accedía a través de una puerta elevada; en de una sus jambas se reutilizó una lápida romana. La fortaleza que ha llegado a nosotros es el resultado de la evolución constructiva de un edificio histórico del que existen datos desde el s. XII. En su estructura se observan distintas etapas de construcción y ampliación que algunos autores han identificado con diferentes momentos: el recinto exterior es romano, la torre árabe y la muralla almenada es medieval.

Está construido sobre una base de piedra caliza y conservando dos recintos amurallados unidos en la parte meridional. La gruesa muralla exterior está construida con mampostería y cal y canto, coronada por pequeñas almenas. La altura de los muros se recreció en sucesivas fases tapiando el almenado preexistente sin desmochar.

El acceso al castillo se realiza por una torre de su recinto exterior a través de una puerta con arco apuntado y paso acodado, y protegida por un matacán en la parte superior. La fábrica es de sillería con abundantes marcas de cantero.

Adosado al extremo suroriental del castillo, hay un cubo cilíndrico de sillería, un cubo artillero, a modo de refuerzo de época más reciente. Además de este hay otros cubos prismáticos al este y al suroeste del lienzo exterior.

El recinto interior es de planta rectangular. En uno de sus extremos se encuentra la recia torre del homenaje, de sillería. Esta torre, de enormes proporciones, presenta sección cuadrada. En ella se advierte que, hasta la mitad de altura, la fábrica es de mampostería con sillería en esquinas y en el perfilado de las saeteras. Se conservan los mechinales de apoyo de los canes del cadalso en el hueco del muro oriental. Esta torre conserva las puertas de acceso desde el exterior, y la de paso al patio de armas.

Ya en el interior de la torre, llama poderosamente la atención los arcos cruzados a varias alturas, que nos indican donde estaban los distintos pisos interiores.

En 1429 llegó al castillo como capitán frontero de las tropas castellanas el Marqués de Santillana; en sus versos refleja las emociones de estas tierras.