Este monumento es una prueba feaciente de los diferentes hospitales y asilos que tuvo la ciudad a lo largo de su historia. Fue mandado construir por el quinto Conde de Benavente, D. Alfonso Pimentel y su esposa Doña Ana Herrera de Velasco, quedando perfectamente recogido en una inscripción existente en la portada principal del mismo, en la cual podemos leer:

"ESTE HOSPITAL HICIERON E DOTARON LOS ILUSTRES SEÑORES ALFONSO PIMENTEL, QUINTO CONDE E DOÑA ANA DE VELASCO E HERRERA, SU MUJER, TITULARONLO DE NUESTRA SEÑORA DE LA PIEDAD PORQUE NUESTRO SEÑOR LA AYA DE SUS ANIMAS. COMENÇOSE E DOTOSE EN EL AÑO DE MDXVII; ACABANDOSE EN EL AÑO MDXVIII"

Su fachada es una hermosa muestra del primer Renacimiento, aunque mantiene aún influencias del estilo Gótico, con un arco de medio punto, encuadrado por un alfiz con gran decoración vegetal sobre él que se puede observar un alto relieve de la Piedad flanqueado por dos blasones de los fundadores y rematado por un frontispicio con la venera concha jacobea.

En el interior se encuentra un patio rodeado de galerías, que da acceso a la capilla del Hospital, de decoración análoga a la de Santa María de Azogue.