El actual edificio fue construido a finales del siglo XVII. De planta cuadrada con patio porticado en el centro, sigue el modelo herreriano de la casa de Austria, si bien con abigarrados rasgos barrocos, haciendo por ello del edificio, un puente entre un estilo sobrio y aristocrático con otro más popular y castizo.

La espléndida fachada simétrica, cobija dos nichos con las estatuas de San Sebastián y San Francisco: el primero por llamarse el obispo constructor igual que el Santo, y el segundo por pertenecer el prelado a la orden franciscana.

En el centro, sobre la puerta se encuentra el escudo de armas del obispo Montoya, situado sobre las ménsulas de las columnas que guardan el nicho de la escultura de San Agustín. A los dos lados se sitúan sendas torres con remate en chapitel y el escudo de armas del prelado, haciendo gala de un exagerado barroquismo.

Actualmente el Hospital de San Agustín alberga el Centro Cultural de la Villa burgense con instalaciones como la oficina de turismo, la biblioteca municipal, salas de exposiciones, el Aula Arqueológica de Uxama, a la vez que es sede de diversas asociaciones culturales de El Burgo de Osma.