Cuenta una vieja leyenda que encontrándose de paso por el Castillo unos carreteros que portaban una imagen de Nuestro Padre Jesús Nazareno con destino Alcalá la Real y habiendo descansado y pasado la noche entre los castilleros, decidieron a la mañana siguiente ponerse en marcha para continuar su viaje. Tal era el peso de la imagen del Nazareno que no consiguieron, pese a todos los esfuerzos, poner la carreta en marcha, lo que fue interpretado por los vecinos propios de la villa como una señal de que aquel Jesús Nazareno quería quedarse entre los castilleros. Fue erigida una ermita en el lugar, y allí comenzó a ser venerada la imagen como propia de la villa. En la segunda mitad del siglo XIX la feria que se celebraba el día 8 de septiembre en honor de la Natividad de Nuestra Señora, bajo la advoación de la virgen de la Cabeza, pasó a realizarse bajo el patronazgo de Nuestro Padre Jesús Nazareno, cuya preciada talla, esculpida por Martínez Montañez, es procesionada en los días de los festejos de Septiembre.

Durante la Semana Santa, concretamente el Jueves y Viernes Santo, tenían lugar las representaciones teatrales de la Pasión con los tradicionales "pasos", alguno de los cuales aún perduran en otros lugares de la comarca como es el caso de Alcaudete.