O santuário de Nossa Senhora de Nazaré, também conhecido como o Santuário do Sítio, está ligado ao do milagre da Virgem a D. Fuas Roupinho, em 1182. Montava D. Fuas Roupinho o seu cavalo quando vê passar um vulto negro e estranho. Pensando ser um veado, perseguiu-o e o animal em desafio passa por ele uma e outra vez, o que desperta mais ainda o seu desejo de o apanhar. A perseguição torna-se feroz até que quando está prestes a apanhá-lo o cavalo pára junto a um precipício, mesmo sobre o mar. O cavalo empina-se desesperado e o veado desfaz-se em fumo. D. Fuas Roupinho clama por Nossa Senhora da Nazaré e cavalo e cavaleiro salvam-se, ficando as patas traseiras gravadas no rochedo, marca essa que ainda hoje existe. D. Fuas Roupinho corre para junto da Virgem a agradecer a protecção e promete levar a imagem para o local do milagre. Mais tarde, mandou construir a capela da Nossa Senhora da Nazaré nesse mesmo local que ficou a ser conhecido por Memória.
No século XIV, o rei D. Fernando manda fazer obras nesse local e decide fazer um novo edifício de culto, tendo este sido ampliado nos reinados de D. João I, D. João II e D. Manuel.
