Fue escenario de decenas de batallas entre moros y cristianos en el S. X. Una de las más importantes tuvo lugar en el 917 cuando Abderramán III mandó un gran ejército desde Al-Ándalus a tomar la villa, sin embargo fue derrotado.

Su construcción, estrecha y alargada, es de origen musulmán aunque posteriormente fue reformada por los cristianos. Se realizó con sillares labrados seguramente de procedencia romana.

En la actualidad queda un gran lienzo de muralla de unos 2 metros de grosor, levantado sobre una gran roca vertical. Todavía se pueden apreciar restos de estancias, aljibes y silos. En la parte oriental del Castillo, excavado en la roca, se ubica el misterioso Pozo Airón que según se cuenta se utilizaba para acceder al rio mediante una gruta subterránea en caso de asedio.

Tras la invasión francesa en 1808, el Castillo no se recuperó y sufrió grandes daños. Aun así los pocos muros conservan cierta grandeza y nos hablan de guerreros, batallas y reyes que aquí se alojaron.