AI SEO - Robots.txt, मार्कडाउन, और कैसे AI प्रदाता आपकी साइटों को क्रॉल कर रहे हैं

कृपया ध्यान दें: यह लेख एक उत्पाद और एक मानक के दृष्टिकोण को दर्शाता है जिसे हम बाजार में उभरते हुए देखते हैं। इसका उद्देश्य ग्राहकों और हमें यह समझने में मदद करना है कि नए AI सिस्टम और विकसित हो रहे खोज पैटर्न की शक्ति का कैसे जवाब दिया जाए और उसका लाभ कैसे उठाया जाए। यह एक प्रगति पर काम है! इसके साथ ही, हमारी घोषणा।

हम अपने ग्राहकों और अन्य पेशेवर वेबसाइट प्रबंधकों को खोज क्वेरी को तेजी से संभालने वाले AI प्रदाताओं द्वारा लाए गए परिवर्तनों को नेविगेट करने में मदद करने के लिए एक नई सेवा शुरू कर रहे हैं। हम खुद एक प्रक्रिया का उपयोग करते हैं जिसे हम यह सुनिश्चित करने में मदद करने के लिए साझा करना चाहते हैं कि आपकी साइट AI-तैयार है। अभी के लिए, हम इसे InMotion AI SEO Helper कह रहे हैं।

इस पोस्ट में, मैं हमारी वेबसाइट और अनाम वेबसाइटों के एक सेट दोनों का उल्लेख करूँगा। एक होस्टिंग कंपनी के रूप में, हम कई साइटों पर समग्र पैटर्न देख सकते हैं और वे पैटर्न inmotionhosting.com वेबसाइट पर जो हो रहा है उससे काफी हद तक मेल खाते हैं।

आप हमारी वेबसाइट inmotionhosting.com/services/ai-seo-helper पर जाकर AI SEO हेल्पर के आंशिक संस्करण का उपयोग कर पाएँगे और यह जान पाएँगे कि यह कैसे काम करता है। अगर आपको इससे ज़्यादा की ज़रूरत है, तो आपको पूरे AI SEO हेल्पर का इस्तेमाल करने के लिए मुफ़्त में साइन अप करना होगा। कृपया ध्यान दें कि संसाधनों की कमी के समय, हमारे ग्राहकों को सिस्टम में पहली प्राथमिकता दी जाती है।

उपकरण आपकी वेबसाइट की जांच करेगा और संस्करण 2 में (वर्तमान योजना के अनुसार) निम्नलिखित कार्य करेगा। संस्करण 1 में निश्चित रूप से एक उपसमूह होगा:

• सुनिश्चित करें कि साइट पर robots.txt फ़ाइल देखें और पहचानें कि क्या गायब है
• सुनिश्चित करें कि साइट पर sitemap.xml और पहचानें कि क्या कमी है
• की उपस्थिति की जाँच करें .md फ़ाइलें
• जाँच करें कि क्या साइट में शामिल है llms.txt फ़ाइल* (यहाँ चेतावनी के बारे में नीचे नोट देखें)
• सत्यापित करें कि साइट अनजाने में LLM क्रॉलर को ब्लॉक तो नहीं कर रही है

जैसा कि ऊपर बताया गया है, यह उपकरण पहचानता है कि क्या कमी रह गई है। इस समय, यह 100% ज्ञात नहीं है कि क्या किया जाना चाहिए क्योंकि यह एक विकसित हो रहा मानक है।

AI टूल के लिए क्रॉलर की मदद करने के लिए "क्या किया जाना चाहिए" के बारे में हमारा दृष्टिकोण हमारे चल रहे अनुभव पर आधारित है। जैसे ही वे प्रकाशित होंगे हम सहायक संसाधनों को लिंक करेंगे, इसलिए अभी लिंक की कमी के लिए क्षमा करें।

क्रॉलिंग, प्रशिक्षण, खोज – साथ ही नई बिक्री

आइए इस बात से शुरू करते हैं: इन नए खोज पैटर्न से बिक्री पहले से ही आ रही है । लोग अपने पसंदीदा AI चैटबॉट पर जा रहे हैं, खरीदने के इरादे से शोध कर रहे हैं, और खरीदारी पूरी करने के लिए हमारी साइटों पर आ रहे हैं। यह एक ऐसा तथ्य है जिसे मैंने खुद व्यक्तिगत रूप से देखा है। पैटर्न अभी तक ठीक से समझा नहीं गया है और यह भी स्पष्ट नहीं है कि उस खरीद प्रवाह का कितना हिस्सा Google खोजों से ChatGPT और इसी तरह की खोजों में स्थानांतरित होगा।

नीचे दी गई जानकारी बताती है कि हम क्या देख रहे हैं। मैं इस बारे में बात नहीं कर रहा हूँ कि क्या एलएलएम को प्रशिक्षित करने के लिए वेबसाइटों, शोधपत्रों, पुस्तकों आदि का उपयोग किया जाना चाहिए, बिना एलएलएम द्वारा यह बताए कि उन्हें किस पर प्रशिक्षित किया गया था। इस पर मेरे अपने विचार हैं जिन्हें मैं किसी और समय प्रकाशित करूँगा क्योंकि यह एक वैध चिंता है। इस चर्चा के लिए, मैं उन वेबसाइटों के बारे में बात कर रहा हूँ जिन्होंने पहले से ही Google और उसके साथियों को स्वीकार कर लिया है कि वे मौद्रिक लाभ के लिए अपनी साइट पर आगंतुकों को भेजने के उद्देश्य से उनकी जानकारी को क्रॉल और निगल लेंगे।

अब कई “एआई कंपनियों” द्वारा साइट्स को क्रॉल किया जा रहा है। ओपनएआई और एंथ्रोपिक सहित कई प्रमुख खिलाड़ियों ने इस बारे में मार्गदर्शन प्रदान किया है कि वे किस तरह से सम्मान करते हैं robots.txt और उनका क्या User-Agent आपके वेब सर्वर के लिए प्रस्तुत किया जाएगा। हमने सर्वर लॉग में यह गतिविधि देखी है।

यह स्पष्ट नहीं है कि प्रशिक्षण डेटा सेट में शामिल करने के लिए क्रॉल बनाम "अभी" सूचना आवश्यकताओं के कारण क्रॉल के बीच कोई अलग पैटर्न होगा या नहीं। "अभी" सूचना आवश्यकताओं को इस प्रकार परिभाषित किया गया है:

• समानांतर पृष्ठ क्रॉल - जब एंथ्रोपिक या चैटजीपीटी का कोई उपयोगकर्ता खोज करने के लिए डीप रिसर्च जैसी सेवा मांगता है, तो इस प्रक्रिया में एलएलएम द्वारा मूल्यांकन के लिए कई पृष्ठों का समानांतर दौरा शामिल होता है।
• नवीनतम डेटा की आवश्यकता - जब कोई उपयोगकर्ता ऐसी जानकारी की तलाश कर रहा है जो एलएलएम के कार्यशील डेटा सेट में वर्तमान में होने की संभावना नहीं है, तो एलएलएम नवीनतम जानकारी एकत्र करने के लिए वेबसाइटों की जांच करेगा।
• विशिष्ट अनुरोध - जब कोई उपयोगकर्ता विशिष्ट रूप से कुछ जानकारी जैसे वेबपेज या वीडियो के लिए अनुरोध करता है, जिसे LLM द्वारा ग्रहण किया जाए और उपयोग के लिए सारांशित किया जाए।
• अन्य कारण

"अभी" क्रॉल एक निश्चित स्तर की तात्कालिकता के साथ हो रहे हैं जो आपकी वेबसाइट पर तेजी से समानांतर पेज अनुरोधों में प्रकट होता है। हम चाहते हैं कि ये सेवाएँ अपने अनुरोधों को और अधिक मापें, लेकिन वास्तविक रूप से वे उपयोगकर्ता अनुभव लक्ष्य को पूरा करने का प्रयास कर रहे हैं और डेटा संग्रह प्रक्रिया को गति देना ऐसा करने में मदद करने का एक आसान तरीका है।

किसी भी तरह से, जब कोई पेज क्रॉल किया जाता है तो उसका मुख्य उद्देश्य उस पेज को इन्जेक्ट करना और उसे मशीन रेडी फॉर्मेट में बदलना होता है। सबसे सरल रूप में, इसे मार्कडाउन में बदल दिया जाता है। मार्कडाउन पेज की सामग्री का एक टेक्स्ट आधारित प्रतिनिधित्व है, जिसमें टेबल और छवियों का टेक्स्ट प्रतिनिधित्व शामिल है। कई लोकप्रिय सिस्टम हैं जो ऐसा करते हैं लेकिन प्रत्येक क्रॉलिंग टूल इसे थोड़ा अलग तरीके से करता है। ओपन सोर्स वाले हमारे मूल्यांकन के लिए उपलब्ध हैं। सेवाओं में पर्दे के पीछे वाले कम स्पष्ट हैं, लेकिन हम उनसे लोकप्रिय लाइब्रेरी में से एक का उपयोग करने की अपेक्षा करते हैं।

एकल पृष्ठ क्रॉल के अतिरिक्त हम देखते हैं कि क्रॉलर को पढ़ने के लिए डिज़ाइन किया गया है sitemap.xml फ़ाइल। उसके बाद, यह प्रत्येक URL को क्रॉल कर सकता है और मिलान करने के लिए अपनी मार्कडाउन फ़ाइल तैयार कर सकता है। यह आम तौर पर सिर्फ़ एक है .md क्रॉल किये गये प्रत्येक पृष्ठ के लिए एक फ़ाइल बनाएँ।

उदाहरण के लिए, चलिए “about-us” नामक पेज लेते हैं। यह एक स्थिर पेज हो सकता है या किसी वेब ऐप द्वारा बनाया गया पेज या सर्वर साइड जैसा बनाया गया पेज हो सकता है WordPress . हालाँकि इसे ब्राउज़र में प्रस्तुत किया गया है। यह पृष्ठ ग्राफ़िक्स, रंग, लेआउट, छवियों आदि से समृद्ध है, जिसे कोई व्यक्ति पढ़ और आत्मसात कर सकता है। सबसे आम उपयोग के मामलों के लिए, LLM को इस समृद्ध सामग्री को मार्कडाउन में अनुवादित करने की आवश्यकता होती है ताकि इसे आसानी से आत्मसात किया जा सके।

हमारी प्रणाली के लिए, यह निम्नलिखित संभावित फ़ाइल संरचना के साथ सार्वजनिक URL के रूप में इनमें से कुछ का उत्पादन करेगी:

• /inmotion-ai-helper/openai/directory/about-us.md
• /inmotion-ai-helper/claude/directory/about-us.md
• /inmotion-ai-helper/gemini/directory/about-us.md
• /inmotion-ai-helper/opencrawl/directory/about-us.md
• /inmotion-ai-helper/crawl4ai/directory/about-us.md
• /inmotion-ai-helper/docling/directory/about-us.md

जैसा कि आप देख सकते हैं, ऐसे कई क्रॉलर हैं जो लोकप्रिय हैं। हम अपने मूल्यांकनों में आगे बढ़ते हुए भविष्य के तकनीकी मूल्यांकन वीडियो और पोस्ट में इनमें से कुछ को कवर करेंगे। हालाँकि मुख्य बात यह है कि हमारी योजना अलग-अलग क्रॉलर का उपयोग करके एक उत्पाद तैयार करना है। .md उसके लिए विशिष्ट। फिर वह क्रॉलर आसानी से उसे पढ़ सकता है .md फ़ाइल। इससे यह बहुत तेज़ हो जाएगा और इस क्रॉलर का उपयोग करने वाली प्रत्येक कंपनी को एक ही पृष्ठ को संसाधित करने से रोक देगा .md फ़ाइल।

हमारी ओर से, हम क्रॉलर्स के प्रमुख अपडेट पर नज़र रखेंगे और अपडेट को ट्रिगर कर सकते हैं .md कभी-कभी फ़ाइलें। हम इस बारे में सोच रहे हैं कि यह कितनी बार हो सकता है या फिर हम क्रॉलर को खुद ही एक नया अपडेट ट्रिगर करने दे सकते हैं .md हमारी सेवा के लिए कुछ सरल एपीआई कॉल का उपयोग करके फ़ाइलें।

ध्यान देने वाली बात यह है कि हम क्रॉलर प्रदाताओं के साथ भी काम करेंगे, ताकि यह देखा जा सके कि उन्हें किस प्रकार मदद मिल सकती है।

LLMs.txt बनाम Robots.txt

कुछ समय पहले एलएलएम के लिए विशिष्ट मार्गदर्शन की अवधारणा को एक नए प्रारूप में लोड किया गया था। llms.txt फ़ाइल के समान robots.txt फ़ाइल। अब बहस यह है कि क्या कोई विशिष्ट फ़ाइल सही विकल्प है। क्रॉलर रोबोट हैं और अच्छी तरह से लिखे गए लोग पहले से ही robots.txt का सम्मान करते हैं। llms.txt जब मैंने पहली बार इसके बारे में पढ़ा तो यह बात मेरी समझ में आई, लेकिन इस मुद्दे के बारे में सोचने के बाद, ऐसा लगता है कि या तो यह robots.txt द्वारा पहले से ही हल हो चुका है या इसमें कुछ मामूली बदलाव करके इसे हल किया जा सकता है। robots.txt.

यहाँ हमारे कुछ उदाहरण दिए गए हैं llms.txt inmotionhosting.com साइट पर। मैं फिलहाल इस बहस से दूर रहूंगा और उपयोग पैटर्न से हमारी मदद करूंगा। वर्तमान में, उस फ़ाइल तक पहुंच की मात्रा साइट ट्रैफ़िक और robots.txt अनुरोधों की तुलना में वास्तव में मापने योग्य नहीं है। इसलिए वर्तमान में, आइए इसे "कोई चीज़ नहीं" कहें, लेकिन हम इस पर नज़र रखेंगे। हालाँकि यह विचार सही है, इसलिए उम्मीद है कि क्रॉलर एक या दूसरे का सम्मान करना शुरू कर देंगे।

क्रॉलर्स को जानबूझकर या गलती से ब्लॉक करना

यह जानना महत्वपूर्ण है कि आपकी वेबसाइट क्रॉल करने योग्य है या नहीं। यदि आप क्रॉलर को ब्लॉक करना चाहते हैं, तो यह पोस्ट उसके लिए नहीं है। आप संभावित तरीकों के लिए इस पृष्ठ को देख सकते हैं, लेकिन अंत में सार्वजनिक सामग्री तक पहुँच को काटना वास्तव में संभव नहीं है।

इस पोस्ट के लिए, हम यह जानने पर ध्यान केंद्रित कर रहे हैं कि क्या आपके पेज क्रॉल करने योग्य हैं क्योंकि आप चाहते हैं कि आपकी सामग्री प्रशिक्षण के दौरान और “अभी” लुकअप के दौरान प्रमुख LLM में हो। मेरे लिए, बस मेरे शीर्ष चार AI चैटबॉट में जाकर और उसे हमारी साइट पर एक पेज एक्सेस करने के लिए कहकर इसे जल्दी से चेक करना है। अगर यह नहीं कर सकता है, तो हमारे पास एक समस्या है।

Cloudflare मैं कुछ ऐसी चीजें भी आजमा रहा हूं जिनके बारे में मैं चिंतित हूं। मैं इसके बारे में और क्रॉलेबिलिटी को परखने के तरीकों के बारे में और पोस्ट करूंगा।

अगले चरण और खुले प्रश्न

यह क्षेत्र तेजी से विकसित हो रहा है, और हम एक संवादात्मक दृष्टिकोण अपना रहे हैं। यहाँ कुछ प्रश्न दिए गए हैं जिन पर हम अभी भी काम कर रहे हैं:

• हमें कौन से मार्कडाउन आउटपुट का समर्थन करना चाहिए?
• इनमें से कितना काम बड़े AI बॉट्स ने पहले ही कर लिया है? यह संभावना है कि वे पहले से ही लोकप्रिय साइटों के लिए मार्कडाउन को कैश कर रहे हैं। निश्चित रूप से उपकरण वर्तमान में मांग पर साइट क्रॉल कर रहे हैं, इसलिए अभी के लिए यह मायने रखता है।
• क्या हमें इस बारे में सोचना चाहिए कि क्या यह सामग्री सिर्फ हमारे द्वारा ही होस्ट की जानी चाहिए? ai-helper-cdn.inmotionhosting.com/sitename/openai/directory/filename.md
• llms.txt - हम इस पर नज़र रख रहे हैं और अभी इसे शामिल करेंगे। बाद में हम या तो इसे दोगुना कर सकते हैं या इसे हटा सकते हैं यदि क्रॉलर इसी पर टिके रहते हैं robots.txt
• जब कोई ग्राहक अपनी साइट पर नए पृष्ठ प्रकाशित करता है, तो हमें कितनी बार उसका ऑडिट करना चाहिए और उसे अपडेट करना चाहिए? .md और .xml फ़ाइलें?
• क्या हमें इसे आसान बनाने के लिए Git-आधारित वर्कफ़्लो के साथ एकीकृत करना चाहिए?
• हम सर्वोत्तम तरीके से कैसे सहायता कर सकते हैं? WordPress क्या इसे हमारे टोटल कैश प्लगइन के साथ एकीकृत किया जाना चाहिए?

हमें बहुत काम करना है, लेकिन हम अपनी दिशा साझा करना चाहते थे और जागरूकता बढ़ाना चाहते थे: इन उपकरणों से बिक्री पहले से ही हो रही है । वे पहले से ही महत्वपूर्ण हैं और आने वाले वर्षों में उनका महत्व और भी बढ़ेगा।