Este enclave aparece por primera vez en la documentación histórica en el año 975 en el marco de una campaña dirigida por el general Galib en apoyo a la plaza fuerte de Gormaz asediada por Castilla.

El castillo se ubica en el lugar que lo hizo la primitiva población medieval de Berlanga. Con el paso del tiempo los habitantes berlangueses ocuparon espacios extramuros de la cerca primigenia. La familia de los Tovar en las últimas décadas del s. XIV y hasta los inicios del s. XVI tomaron el recinto bajo su propiedad.

Los restos que han llegado hasta hoy presentan un doble recinto fortificado que responde a dos etapas constructivas sucesivas; el más antiguo medieval, el más reciente renacentista.  A la espera de los resultados que produzcan la intervención realizada en 2021, los datos remiten a la existencia de una fortaleza de origen califal en la frontera entre los reinos medievales de la península. Es en los años 20 del s. XVI cuando maría de Tovar inició la construcción de la nueva fortaleza en torno al castillo medieval, con el fin de dotarlo de defensas frente a los ataques artilleros.

El segundo recinto amurallado se corresponde a una cerca levantada alrededor del castillo medieval, construida conforme a la traza renacentista que aún mejora el carácter de protección del palacio que se erigirá a sus pies. Los muros se levantaron en tapial de cal y canto rematados por almenas; varios cubos semicirculares se distribuyen por los muros.

En el espacio intramuros cerca del Palacio renacentista de los Duques de Frías se conservan las ruinas de un pequeño templo que debió de tener origen románico; el arco de gloria es casi el único elemento arquitectónico que se mantiene en pie.

El castillo y las murallas fueron declarados Monumento el 22 de abril de 1949.