Esta ermita de Casillas de Berlanga es considerada una de las primeras fundaciones cristianas en el avance de Castilla sobre la Marca Media del Califato, quizás planteada como una avanzadilla repobladora en los territorios de frontera de la Extremadura castellana.

El templo se asienta directamente sobre la roca organizando su planta en base a dos bloques cúbicos, uno mayor que se corresponde con la nave y con acceso a una pequeña cueva; y otro de menores proporciones que alberga el ábside, cabecera del templo. En el exterior destaca la austeridad de unos muros construidos en mampostería  reforzada con sillares en esquinales y vanos. El inmueble tiene dos accesos, el principal principal abierto al muro norte mediante un arco doblado de herradura, y otro lateral de medio punto horadado en el hastial occidental en su punto más elevado, siendo accesible a través de una pequeña escalinata que salva la inclinación de la ladera.

El arco de herradura es seña de identidad en esta ermita también en los ocho nervios que, arrancando de un consistente y cilíndrico pilar central, conforman la estructura sustentante de la cúpula que cierra la nave. Los estudios e investigaciones realizados sobre este BIC tan excepcional en el Románico hispano, han generalizado la imagen e identificación de esta estructura como «la palmera de San Baudelio». A los pies de la nave se construyó un pequeño coro sobre columnas de las que arrancan sucesivos arcos, de nuevo, de herradura.

La totalidad de los muros de la ermita de San Baudelio se ilustraron con pinturas murales al fresco y temple, posiblemente en época ya plenamente románica. La impronta de estas pinturas arrancadas en las década de los años 20 del siglo pasado permanece en los muros,  permitiendo disfrutar a los viajeros de las maravillas pictóricas de esta joya románica. Los paneles originales se encuentran en varios museos de EEUU y en el Museo del Prado.

El programa iconográfico de San Baudelio es religioso interpretado, en algunas escenas, como representaciones de la vida cotidiana y de la fauna real y fantástica. Cacerías, halconeros y guerreros, un elefante, un oso y un dromedario conviven con cortinajes pintados imitando textiles y escenas religiosas que narran milagros, tentaciones, la ciudad de Jerusalén, la adoración de los Magos, la Última cena o la Pasión.

San Baudelio es Bien de Interés Cultural desde 1917 en la categoría de Monumento. Y conforma junto con la ermita de San Miguel de Gormaz y la Vera Cruz de Maderuelo, la trilogía pictórica románica por excelencia de la Castilla medieval.