యాదగిరి గుట్టకు సంబంధించిన కథకు మూలం వాల్మీకి రామాయణంలోని విభాండక ఋషి. అతడి పుత్రుడైన ఋష్యశృంగుడి కుమారుడు యాదరుషి. అతణ్ణే యాదర్షి అంటారు. చిన్నతనం నుండి నరసింహుడి భక్తుడైన అతడికి ఆ స్వామిని దర్శించాలని బలమైన కోరిక ఉండేదట. నరసింహుణ్ణి అన్వేషించడానికి అడవులూ, కొండలూ కోనలూ తిరిగాడు. కానీ నరసింహుని దర్శనం కాలేదు. అలా సంచరిస్తున్న యాదర్షి ఒకరోజు ఇప్పుడున్న యాదగిరి అరణ్య ప్రాంతానికి చేరుకుని అలసిపోయి ఒక రావిచెట్టు కింద పడుకున్నాడు. అప్పుడు కలలో ఆంజనేయస్వామి కనిపించి నీ పట్టుదల నాకు నచ్చింది. నీకు తోడుగా నేనుంటాను. కఠినంగా తపస్సు చేస్తే స్వామి తప్పక ప్రత్యక్షమవుతాడు అని చెప్పారట.
నిద్రలేచిన యాదర్షి అక్కడే తపస్సు మొదలుపెట్టాడు. కొన్నాళ్లకు ఉగ్రనారసింహుడు ప్రత్యక్షమయ్యారట. ఆ తేజస్సును చూడలేక శాంత స్వరూపంతో కనిపించమని కోరారట యాదర్షి. అప్పుడు లక్ష్మీసమేతుడై దర్శనమిచ్చి ‘ఏం కావాలో కోరుకో’ అని అడిగాడు స్వామి.నీ దర్శనం కోసం ఇంత ఘోర తపస్సు సామాన్యులు చేయలేరు.
అందుకే నువ్వు శాంత రూపంతోనే ఇక్కడ కొలువై ఉండిపో అని కోరాడు. అప్పుడు కొండశిలమీద స్వామి ఆవిర్భవించాడు. కొన్నాళ్ల తరువాత యాదర్షికి మరో కోరిక కలిగింది. స్వామిని ఒకే రూపంలో చూశాను. వేర్వేరు రూపాల్లో చూడలేకపోయానే అనుకుని మళ్లీ ఈ ప్రాంతానికి వచ్చి తపస్సు మొదలుపెట్టాడు. కొన్నాళ్లకు స్వామి ప్రత్యక్షమైయ్యాడు.
యాదర్షి స్వామి వారి రూపాలన్నీ చూడాలని కోరగా నా రూపాలన్నీ నువ్వు చూడలేవు అయినా నీకోసం మూడు రూపాలు చూపిస్తాను అని జ్వాలా, యోగానంద, గండభేరుండ నారసింహ రూపాల్లో దర్శనమిచ్చారు.
జ్వాలా నారసింహుడు సర్పరూపంలో ఉంటాడు. యోగానందుడు అర్చా విగ్రహరూపంలో ఉంటాడు. గండభేరుండ నారసింహుడు కొండ బిలంలో కొలువై ఉంటాడు. తరువాత యాదర్షి తనను స్వామిలో ఐక్యం చేసుకోమని కోరడంతో అలాగే చేసుకున్నారు స్వామి. ఆ యాదర్షి పేరుమీదనే ఇది యాదగిరిగుట్ట అయింది.