Perto do rio Côa havia uma capela muito antiga onde era venerada uma imagem de Nossa Senhora do Pranto. Com o rodar do tempo e a investida das águas do rio, que no Inverno inundavam o local, a “Casa da Senhora” foi-se degradando ao ponto de se encontrar em ruínas.
Um dia, passou por ali um homem, natural da freguesia de Cinco Vilas, que ao ver o deplorável estado em que a capela se encontrava, retirou a imagem da Senhora e levou-a consigo, indo depositá-la no lugar onde hoje se encontra a singela ermida de Nossa Senhora do Pranto.
Alguns dias depois, apesar do frio e do vento que se faziam sentir, deslocou-se novamente até ao rio. A chuva, o vento e a escuridão da noite que, entretanto caíra, impediam o pobre homem de encontrar o caminho para casa.
Conhecendo bem o local em que se encontrava, muito fragoso e de grandes precipícios, não se aventurou e começou a gritar socorro. Porém, o barulho do temporal abafava a sua voz. Também àquela hora e com o mau tempo que fazia, não haveria por ali ninguém que lhe pudesse acudir.
Sentindo-se perdido, o homem lembrou-se de recorrer ao auxílio de Nossa Senhora do Pranto, pedindo-lhe para o livrar daquela situação aflitiva. As preces não foram em vão, pois que do céu apareceu uma luz, guiando o pobre homem, no regresso a casa.
Sentindo-se salvo, ao passar pelo lugar onde tinha guardado a imagem ouviu uma voz, que lhe dizia para, naquele local, erguer uma ermida em honra de Nossa Senhora. O homem, agradecido, edificou a capelinha e deixou Nossa Senhora do Pranto por herdeira de todos os seus bens.