యాదగిరి గుట్టకు సంబంధించిన కథకు మూలం వాల్మీకి రామాయణంలోని విభాండక ఋషి. అతడి పుత్రుడైన ఋష్యశృంగుడి కుమారుడు యాదరుషి. అతణ్ణే యాదర్షి అంటారు. చిన్నతనం నుండి నరసింహుడి భక్తుడైన అతడికి ఆ స్వామిని దర్శించాలని బలమైన కోరిక ఉండేదట. నరసింహుణ్ణి అన్వేషించడానికి అడవులూ, కొండలూ కోనలూ తిరిగాడు. కానీ నరసింహుని దర్శనం కాలేదు. అలా సంచరిస్తున్న యాదర్షి ఒకరోజు ఇప్పుడున్న యాదగిరి అరణ్య ప్రాంతానికి చేరుకుని అలసిపోయి ఒక రావిచెట్టు కింద పడుకున్నాడు. అప్పుడు కలలో ఆంజనేయస్వామి కనిపించి నీ పట్టుదల నాకు నచ్చింది. నీకు తోడుగా నేనుంటాను. కఠినంగా తపస్సు చేస్తే స్వామి తప్పక ప్రత్యక్షమవుతాడు అని చెప్పారట.