La historia de la iglesia de las Nazarenas, que alberga hoy a la sagrada imagen del Señor de los Milagros, es casi tan antigua como la imagen misma. Tal como consta en la historia del Señor de los Milagros, la sagrada imagen fue pintada en el humilde y tosco muro de una barraca por un esclavo angoleño. En 1655 un fuerte terremoto asoló Lima causando cuantiosas perdidas humanas y materiales.