Mówi się, że Grota Mleczna jest miejscem, w którym Święta Rodzina znalazła schronienie podczas Rzezi Niewiniątek, zanim zdążyli uciec do Egiptu.

Nazwa Groty wzięła się od wierzenia, że kropla mleka Matki Boskiej spadała na dno jaskini i zmieniała jej kolor na mlecznobiały. Przez wieki bezdzietne kobiety wielu religii odwiedzały Grotę Mleczną, aby prosić o dar potomstwa. Zazwyczaj zabierają ze sobą kawałek białej skały Groty, która ma magiczną moc.

Bizantyjski kościół został zbudowany nad Grotą w V wieku. Pozostałości kolorowej mozaiki posadzkowej z tamtych czasów można zobaczyć na dziedzińcu obecnej kaplicy, która została zbudowana wokół Groty przez braci franciszkanów w 1872 roku. Płaska rzeźba, która zdobi fasadę kaplicy od 1935 roku, jest doskonałym przykładem lokalnego rzemiosła.