De la antigua muralla medieval iniciada en el siglo IX y posteriormente reforzada y modificada por árabes y cristianos quedan algunos restos dispersos por la villa. Los restos más significativos son los del torreón de la puerta del Rastro, reconocible por el blasón del siglo XVI del marqués de Villena y Conde de San Esteban; los del torreón de la calle Posadillas, con piedra de sillería laboriosamente trabajada; los del cubo de la puerta de San Gregorio o los restos de la calle Pescadores. Por último, en la plaza Mayor el arco de la villa o Puerta de Castilla, el principal acceso en tiempos medievales. Puede reconocerse el escudo que hay en la parte interior, con los blasones de don Diego I López Pacheco el Grande, V conde de San Esteban de Gormaz (1501-1529). Atravesando el Arco de la villa nos encontramos con el Puente romano, de dieciséis ojos.