இக்கோயிலின் தலபுராணம் தனிப்பட்ட முறையில் எழுதி வைக்கப்படவில்லை. ஆனால் சுசீந்திரம் கோயில் தலபுராணத்தில் இக்கோயில் தொடர்பான கதை வருகிறது. சமஸ்கிருத மொழியில் எழுதப்பட்டுள்ள சுசீந்திரம் தலபுராணம் 15 ஆம் சருக்கத்தில் மருங்கூர் சுப்பிரமணியர் தொடர்பான செய்திகள் தரப்பட்டுள்ளது. தாணுமாலையன் அருளால் தூய்மைப்பெற்ற தேவேந்திரன் தேவலோகம் சென்றதும் அவனது வாகனங்களில் உச்சை சிரவத்தை மருங்கூர் செல்ல ஆணையிடுகிறார் தாணுமாலையன். அப்போது மருங்கூர் கோயில் பேசப்படுகின்றது. மருங்கூர் கோயிலில் வள்ளி மாணவாளன் கோயில் கொண்டிருக்கிறான். அவனை அர்ச்சிப்பாய் என தாணுமாலையன் கூறியதும் உச்சை சிரவம் குதிரை என்னால் எப்படி முருகனை அர்ச்சிக்க முடியும்.என கேட்க தாணுமாலையன் அனந்தனையும் உன்னுடன் அழைத்துச் செல் என்றார். அது போலவே முருகனை வழிபட்டு குதிரை முக்தி பெற்றது. அது முதல்...இக்கோயிலின் தலபுராணம் தனிப்பட்ட முறையில் எழுதி வைக்கப்படவில்லை. ஆனால் சுசீந்திரம் கோயில் தலபுராணத்தில் இக்கோயில் தொடர்பான கதை வருகிறது. சமஸ்கிருத மொழியில் எழுதப்பட்டுள்ள சுசீந்திரம் தலபுராணம் 15 ஆம் சருக்கத்தில் மருங்கூர் சுப்பிரமணியர் தொடர்பான செய்திகள் தரப்பட்டுள்ளது. தாணுமாலையன் அருளால் தூய்மைப்பெற்ற தேவேந்திரன் தேவலோகம் சென்றதும் அவனது வாகனங்களில் உச்சை சிரவத்தை மருங்கூர் செல்ல ஆணையிடுகிறார் தாணுமாலையன். அப்போது மருங்கூர் கோயில் பேசப்படுகின்றது. மருங்கூர் கோயிலில் வள்ளி மாணவாளன் கோயில் கொண்டிருக்கிறான். அவனை அர்ச்சிப்பாய் என தாணுமாலையன் கூறியதும் உச்சை சிரவம் குதிரை என்னால் எப்படி முருகனை அர்ச்சிக்க முடியும்.என கேட்க தாணுமாலையன் அனந்தனையும் உன்னுடன் அழைத்துச் செல் என்றார். அது போலவே முருகனை வழிபட்டு குதிரை முக்தி பெற்றது. அது முதல் இத்தலம் வாஜிபுரம் என வழங்கப்பட்டது.
இக்கோயிலில் முருகன் குதிரை வாகனத்தின் வலம் வருகிறான். சுசீந்திரம் தலபுராணம் சுசீந்திரத்திற்கு வடகிழக்கே சித்தசைலம் ஒன்று இருந்ததாக கூறும் அந்த சைலம் மங்கூர் தான். இங்கு ஞானிகள் பலர் வந்து ஜீவன் முக்தர்களாய் உள்ளனர். திருநாராயண குரு இத்தலத்திற்கு வந்து தவம் செய்திருக்கிறார். சட்டம்பி சுவாமிகள் என்ற சித்தர் இங்கு வந்திருக்கிறார். திருவனந்தபுரம் அபேதானந்த சுவாமிகள் பல நாட்கள் இங்கே தங்கியிருக்கிறார். திருவஞ்ச நல்லூர் சிதம்பரசுவாமிகள் இங்கே தங்கி பல துறவிகளுக்கு ஞானோபதசம் செய்துள்ளனர்.
