llms.txt: यह क्या करता है, क्या नहीं करता, और क्या इसकी ज़रूरत है

llms.txt एक प्रस्तावित प्लेन-टेक्स्ट Markdown फ़ाइल है, जिसे वेबसाइट के रूट पर रखा जाता है, और जो लार्ज लैंग्वेज मॉडल को साइट का एक छोटा, चुना हुआ सारांश और उसके सबसे उपयोगी पेजों के लिंक देती है। इसे जोड़ना सस्ता है और यह उन AI टूल्स की मदद कर सकती है जो इसे पढ़ते हैं, लेकिन किसी बड़े AI सर्च इंजन ने इसे रैंकिंग या उद्धरण संकेत के रूप में पुष्ट नहीं किया है।

llms.txt असल में क्या है?

विचार सरल है। एक वेब पेज ब्राउज़र के लिए बना होता है: नेविगेशन, कुकी बैनर, स्क्रिप्ट, फ़ुटर। आपके व्यवसाय को समझने की कोशिश कर रहे लैंग्वेज मॉडल को इन सबसे होकर गुज़रना पड़ता है। 2024 में प्रकाशित llms.txt प्रस्ताव /llms.txt पर Markdown में लिखी एक ऐसी फ़ाइल का सुझाव देता है जो असल में कहती है, "यह हैं हम, और ये हैं पढ़ने लायक पेज"। कुछ संस्करण मुख्य पेजों की साफ़ Markdown कॉपी की ओर भी इशारा करते हैं, और एक सहायक विचार, llms-full.txt, डॉक्यूमेंटेशन का पूरा टेक्स्ट एक फ़ाइल में समेटता है।

इसकी स्थिति के बारे में सटीक होना ज़रूरी है। llms.txt एक सामुदायिक प्रस्ताव है, वेब मानक नहीं, और यह robots.txt जैसी चीज़ नहीं है। robots.txt क्रॉलर्स को बताता है कि वे क्या फ़ेच कर सकते हैं और क्या नहीं। llms.txt कुछ भी अनुमति या ब्लॉक नहीं करता; यह पढ़ने की एक गाइड है।

क्या ChatGPT, Gemini, Perplexity या Google AI Overviews इसका उपयोग करते हैं?

इस विषय पर ज़्यादातर लेख यहीं हद से आगे बढ़ जाते हैं, इसलिए हम सावधान रहेंगे। यह लिखे जाने के समय तक, किसी भी बड़े AI सर्च अनुभव ने सार्वजनिक रूप से नहीं कहा है कि llms.txt इस पर असर डालता है कि वे किन स्रोतों को उद्धृत करते हैं। Google ने कहा है कि उसके AI फ़ीचर्स उसके सामान्य सर्च इंडेक्स और रैंकिंग सिस्टम पर निर्भर हैं, और उसके प्रतिनिधि इस फ़ाइल को लेकर संशय में रहे हैं। विभिन्न साइट मालिकों के सर्वर लॉग में llms.txt के कभी-कभार फ़ेच दिखते हैं, लेकिन फ़ेच किसी जवाब में इस्तेमाल का प्रमाण नहीं है।

llms.txt का स्पष्ट मूल्य उन टूल्स में है जिन्हें इसका उपयोग करने को कहा जाता है: डेवलपर असिस्टेंट, कोडिंग एजेंट और डॉक्यूमेंटेशन प्लेटफ़ॉर्म जो किसी प्रोजेक्ट का llms.txt लोड करते हैं ताकि मॉडल सटीक, ताज़ा डॉक्स के साथ काम कर सके। अगर आपकी ऑडियंस में डेवलपर शामिल हैं, तो सिर्फ़ यही इस मेहनत को सही ठहरा सकता है।

SNMRush में हमारी राय: llms.txt को अच्छी साफ़-सफ़ाई मानें, विज़िबिलिटी का लीवर नहीं। इसमें एक घंटा लगता है, यह उपयोगी स्पष्टता के लिए मजबूर करता है, और यह कमज़ोर कंटेंट को नहीं बचाएगा।

एक अच्छा llms.txt कैसे लिखें?

प्रस्ताव में संरचना छोटी है। साइट या ब्रांड के नाम के साथ एक H1, ब्लॉककोट में एक पैराग्राफ़ का सारांश, वैकल्पिक नोट्स, फिर H2 सेक्शन जिनमें लिंक की सूचियाँ हों और हर लिंक का एक पंक्ति का विवरण। "Optional" नाम के सेक्शन में ऐसे लिंक रखे जा सकते हैं जिन्हें संदर्भ सीमित होने पर मॉडल छोड़ सकता है।

एक काल्पनिक अकाउंटिंग सॉफ़्टवेयर कंपनी का हल किया हुआ उदाहरण रूपरेखा में कुछ ऐसा दिख सकता है:

• शीर्षक: ब्रांड का नाम, ठीक वैसा जैसा आप चाहते हैं कि उसे पुकारा जाए।
• सारांश: दो वाक्य जो बताएँ कि प्रोडक्ट क्या है, किसके लिए है और कहाँ काम करता है। इसे उस जवाब की तरह लिखें जो आप किसी असिस्टेंट से दिलवाना चाहेंगे।
• मुख्य पेज: प्रोडक्ट ओवरव्यू, प्राइसिंग, तीन सबसे अहम हेल्प लेख, सुरक्षा और अनुपालन।
• व्याख्याएँ: वे गाइड जो आपकी ऑडियंस के सबसे आम सवालों के जवाब देती हैं।
• वैकल्पिक: कंपनी का इतिहास, प्रेस, करियर।

सारांश पैराग्राफ़ सबसे अहम हिस्सा है, और यह वही अनुशासन है जो हम हर पेज पर आंसर ब्लॉक के लिए सुझाते हैं। अगर आप अपनी कंपनी का वर्णन दो सादे, तथ्यात्मक वाक्यों में नहीं कर सकते, तो AI सिस्टम को भी मुश्किल होगी। हमारी आंसर-फ़र्स्ट लेखन गाइड इस कौशल को विस्तार से बताती है।

आपको कौन-से पेज शामिल करने चाहिए?

ऐसे पेज चुनें जो असली सवालों के जवाब देते हैं, न कि वे पेज जिन्हें आप सबसे ज़्यादा बेचना चाहते हैं। यहीं ऑडियंस रिसर्च अपनी उपयोगिता साबित करती है। SNMRush में हम SOMIN का उपयोग करते हैं, जो एक AI ऑडियंस-रिसर्च प्लेटफ़ॉर्म है, ताकि देख सकें कि सार्वजनिक बातचीत में लोग किसी कैटेगरी के बारे में कौन-से सवाल और टेंशन उठाते हैं, फिर जाँचते हैं कि साइट पर हर एक के लिए स्पष्ट पेज है या नहीं। उन सवालों के जवाब देने वाले पेज llms.txt में जाते हैं; कमियाँ कंटेंट योजना में जाती हैं। अगर आप देखना चाहते हैं कि यह रिसर्च व्यापक रूप से रणनीति में कैसे काम आती है, तो SOMIN रणनीति ओवरव्यू यह तरीक़ा समझाता है।

चुनाव के लिए एक छोटी चेकलिस्ट:

1. क्या पेज अपने पहले पैराग्राफ़ में एक सवाल का स्पष्ट जवाब देता है?
2. क्या यह ताज़ा है, सटीक क़ीमतों, फ़ीचर्स और तारीख़ों के साथ?
3. क्या यह लॉगिन, स्क्रिप्ट या बीच में आने वाले पेजों के बिना उपलब्ध है?
4. अगर कोई असिस्टेंट इसे शब्दशः उद्धृत करे, तो क्या आप ख़ुश होंगे?
5. क्या यह उस सवाल के लिए साइट का एकमात्र सबसे अच्छा पेज है, न कि पाँच ओवरलैप करने वाले पेजों में से एक?

परिभाषाएँ: llms.txt और उसके पड़ोसी

• robots.txt: एक पुराना मानक जो क्रॉलर्स को बताता है कि वे कौन-से पाथ फ़ेच कर सकते हैं। यहीं आप GPTBot या Google-Extended जैसे AI क्रॉलर्स को अनुमति देते हैं या ब्लॉक करते हैं।
• sitemap.xml: सर्च इंजनों के खोजने के लिए URL की मशीन-पठनीय सूची।
• llms.txt: लैंग्वेज मॉडल के लिए आपके सबसे उपयोगी कंटेंट की एक प्रस्तावित, इंसानों द्वारा पढ़ी जा सकने वाली Markdown गाइड।
• llms-full.txt: पूरा टेक्स्ट रखने वाली एक प्रस्तावित सहायक फ़ाइल, ज़्यादातर डॉक्यूमेंटेशन के लिए इस्तेमाल होती है।

llms.txt से ज़्यादा क्या मायने रखता है?

अगर आपके पास सिर्फ़ एक हफ़्ता है, तो पहले उसे कहीं और लगाएँ। वेब ब्राउज़ करने वाले ज़्यादातर AI आंसर इंजन सर्च इंडेक्स पर आधारित होते हैं, इसलिए क्रॉलेबिलिटी, इंडेक्सिंग और रैंकिंग ही नींव बनी रहती हैं। इसके बाद कंटेंट ख़ुद आता है: सीधे जवाब, विशिष्ट तथ्य, ईमानदार तुलनाएँ। फिर स्ट्रक्चर्ड डेटा और एक जैसी एंटिटी जानकारी, जो मशीनों को यह समझने में मदद करती है कि आप कौन हैं। आख़िर में, विश्वसनीय थर्ड-पार्टी साइटों पर मेंशन, जो तय करते हैं कि असिस्टेंट आपका वर्णन कैसे करते हैं।

यह क्रम इस धारणा का भी एक उपयोगी इलाज है कि कोई एक फ़ाइल या टैग AI विज़िबिलिटी जिता सकता है। हमारे सहयोगी स्टूडियो GPT5 Marketing द्वारा चर्चित रीज़निंग मॉडल स्रोतों को परखने में तेज़ी से बेहतर हो रहे हैं; वे सार को पुरस्कृत करते हैं, और उन्हें छलना मुश्किल है।

कैसे जाँचें कि यह काम कर रहा है?

श्रेय देने के मामले में विनम्र रहें। /llms.txt के अनुरोधों के लिए अपने सर्वर लॉग देखें और यूज़र एजेंट नोट करें। प्रॉम्प्ट्स का एक तय पैनल रखें और बदलाव से पहले और बाद में ट्रैक करें कि AI टूल आपको उद्धृत करते हैं या नहीं, लेकिन यह उम्मीद रखें कि कोई भी असर आपके बाक़ी सब कामों के साथ मिला-जुला होगा। KPI Media केस स्टडी में शामिल एजेंसियाँ धारणा के बजाय साक्ष्य पर फ़ैसले आधारित करने का मूल्य दिखाती हैं, और यही सिद्धांत यहाँ लागू होता है: मापें, मान न लें।

हमारा फ़ैसला सीधा है। अगर आपके पास डॉक्यूमेंटेशन है, डेवलपर ऑडियंस है, या आप बस मशीनों के लिए अपनी साइट का एक साफ़-सुथरा सारांश चाहते हैं, तो llms.txt जोड़ें। सारांश पैराग्राफ़ ध्यान से लिखें। फिर उस काम पर लौटें जिसके बारे में पता है कि वह मायने रखता है: उन सवालों का जवाब देना जो आपकी ऑडियंस वाकई पूछ रही है, किसी और से बेहतर।

अगर आप अपने सेटअप पर दूसरी राय चाहते हैं, तो SNMRush हर AI विज़िबिलिटी ऑडिट में क्रॉलर एक्सेस, स्कीमा और उद्धरण ट्रैकिंग के साथ llms.txt की समीक्षा भी शामिल करता है।