La ermita fue construida en el año 1730 en lo alto de un collado poblado de olivos. En este lugar se hallaba la última estación de un vía crucis que partía de la iglesia parroquial y que distribuía sus 13 estaciones por el extrarradio del pueblo hasta llegar al santuario. En su interior guarda un cuadro del Santo Sepulcro, que correspondía a la última estación del vía crucis, y que es muy venerado por milagroso entre los vecinos de Algarinejo.
La ermita posee un amplio pórtico de entrada, nave central, y pequeñas cúpulas en los laterales, donde se encuentra, entre otras, la imagen de san Isidro Labrador, muy querida en el pueblo y que protagoniza una populosa romería cada 15 de mayo.

En el año 1929, por encontrarse el edificio en ruinas, fue reconstruida, gracias a la donación del ilustre hijo de esta villa, el General Don Felipe Sánchez de la Cuesta y Navarro y de su esposa Doña Aurora, hija del Comandante Don Pedro Gutiérrez de Castañeda y Caro y de Doña María del Araceli Tallón Cáliz. Estos hicieron a sus expensas la reconstrucción del edificio, como ofrenda en memoria de su hija María del Carmen, poco antes fallecida en temprana edad.