Ermida da Memória é também conhecida por Capela da Memória, ou Capelinha do Sítio.
Situada na Nazaré, a pequena ermida foi construída, em 1182, à beira da falésia, sobre a gruta onde se conservou a milagrosa imagem de Nossa Senhora da Nazaré durante os séculos de domínio muçulmano nesta região. Na manhã enevoada de 16 de Setembro de 1182, andava D. Fuas Roupinho à caça quando deparou com um veado que começou a perseguir, dirigindo-se este para uma falésia à beira-mar na qual desapareceu envolto pelo nevoeiro. D. Fuas prestes a despenhar-se reconheceu estar ao lado de uma gruta onde se venerava uma imagem da Virgem com o Menino e pediu Senhora, Valei-me. O cavalo estacou milagrosamente e o cavaleiro e a sua montada salvaram-se de uma morte certa. Em agradecimento e em memória do milagre D. Fuas Roupinho, alcaide-mor de Porto de Mós, mandou de imediato erguer sobre a gruta a Capela da Memória, que está indissociavelmente ligada à Lenda da Nazaré.
A capela apresenta planta quadrada, cobertura em abóbada piramidal, e possui dois pisos. No exterior mede quatro metros e meio de lado por três metros de altura até ao arranque da pirâmide. Ostenta dois paineis em azulejo. Um sobre a porta, com as armas de Portugal dentro de uma concha, e um outro na parede sul sobre a falésia com a representação do milagre a D. Fuas. A cobertura piramidal é totalmente azulejada e no vértice possui um calvário, encimado por uma cruz, em pedra. Na cimalha sobre a porta existe uma edícula de pedra com decoração gótica, de finais do século XIV, onde está esculpida, em baixo relevo, a imagem de Nossa Senhora da Nazaré e três figuras de joelhos, bastante danificadas pela acção do tempo, que a veneram.
No interior, todas as paredes e abóbadas estão cobertas de azulejos de princípio do século XVIII, sendo o chão lageado a pedra. No piso superior existe um altar com azulejos datados de 1702. A abóbada piramidal, tem no centro um painel quadrado com a representação da Fénix, símbolizando a esperança e a continuidade da vida após a morte, com a seguinte legenda ET VIVAM que se pode traduzir por Vivamos assim. Os lados da pirâmide, com os centros forrados a azulejos avulso com estrelas marianas, têm quatro paineis posteriores incrustados, nos quais estão pintadas uma roseira, uma palmeira, um cedro e um cipreste, com versículos bíblicos dedicados a Maria.
O piso inferior, coberto de abóbada de aresta com um painel representando o milagre a D. Fuas, dá acesso à entrada da gruta onde se conservou a verdadeira imagem de Nossa Senhora da Nazaré, de 711 a 1182, ano em que a capela foi construída para albergar a milagrosa imagem. A gruta foi então entaipada e esquecida com o passar do tempo.
Frei Bernardo de Brito, no final do século XVI, encontrou no arquivo do mosteiro de Alcobaça, uma cópia da doação territorial feita por D. Fuas Roupinho, em 1182, onde se referia ter existido uma gruta sob a capela. Deslocou-se ao Sítio da Nazaré, procurou a ajuda de outros devotos e em conjunto escavaram no subsolo da capela, onde descobriram a gruta, que a partir de então passaria a estar acessível aos visitantes.
Segundo uma tradição oral dos habitantes do Sítio da Nazaré, várias pessoas que se aventuraram demasiado no interior da gruta, desapareceram. Para esclarecer este mistério, prontificou-se um padre preso a uma longa corda, acompanhado pelo seu cão. Entraram na gruta e nunca mais retornaram. Ter-se-á construído então uma parede para impedir o acesso à parte mais remota da gruta. Hoje em dia os visitantes podem ver a entrada da gruta, através de um gradeamento sobre o qual existe um nicho onde está exposta uma réplica da imagem de Nossa Senhora da Nazaré.