AI SEO - Robots.txt, Markdown και πώς οι πάροχοι AI ανιχνεύουν τους ιστότοπούς σας

Σημείωση: αυτό το άρθρο τεκμηριώνει ένα όραμα ενός προϊόντος και ενός προτύπου που βλέπουμε να αναδύεται στην αγορά. Σκοπός του είναι να βοηθήσει τόσο τους πελάτες όσο και εμάς τους ίδιους να κατανοήσουμε πώς να ανταποκριθούμε και να αξιοποιήσουμε τη δύναμη των νέων συστημάτων τεχνητής νοημοσύνης και των εξελισσόμενων προτύπων αναζήτησης. Πρόκειται για ένα έργο σε εξέλιξη! Με αυτό, η ανακοίνωσή μας.

Ξεκινάμε μια νέα υπηρεσία για να βοηθήσουμε τους πελάτες μας και άλλους επαγγελματίες διαχειριστές ιστότοπων να περιηγηθούν στις αλλαγές που επιφέρουν οι πάροχοι AI που χειρίζονται όλο και περισσότερο τα ερωτήματα αναζήτησης. Χρησιμοποιούμε οι ίδιοι μια διαδικασία την οποία θέλουμε να μοιραστούμε για να σας βοηθήσουμε να διασφαλίσετε ότι ο ιστότοπός σας είναι έτοιμος για την τεχνητή νοημοσύνη. Προς το παρόν, την ονομάζουμε InMotion AI SEO Helper.

Σε αυτή τη θέση, θα αναφερθώ τόσο στον ιστότοπό μας όσο και σε ένα σύνολο ανώνυμων ιστότοπων. Ως εταιρεία φιλοξενίας, μπορούμε να δούμε συγκεντρωτικά μοτίβα σε πολλούς ιστότοπους και αυτά τα μοτίβα ταιριάζουν πολύ με αυτό που συμβαίνει στον ιστότοπο inmotionhosting.com.

Θα μπορείτε να χρησιμοποιήσετε μια μερική έκδοση του AI SEO Helper απευθείας από την ιστοσελίδα μας στη διεύθυνση inmotionhosting.com/services/ai-seo-helper για να πάρετε μια ιδέα για το πώς λειτουργεί. Εάν χρειάζεστε περισσότερα από όσα παρέχει αυτή η έκδοση, θα πρέπει να εγγραφείτε, δωρεάν, για να χρησιμοποιήσετε την πλήρη έκδοση του AI SEO Helper. Σημειώστε ότι σε περιόδους συγκέντρωσης πόρων, οι πελάτες μας έχουν πρώτη προτεραιότητα στο σύστημα.

Το εργαλείο θα ελέγξει τον ιστότοπό σας και θα κάνει (σύμφωνα με το τρέχον σχέδιο) τα εξής στην έκδοση 2. Η έκδοση 1 θα έχει ένα υποσύνολο, φυσικά:

• Βεβαιωθείτε ότι ο ιστότοπος διαθέτει robots.txt αρχείο και προσδιορίστε τι λείπει
• Βεβαιωθείτε ότι ο ιστότοπος διαθέτει sitemap.xml και να προσδιορίσετε τι λείπει
• Ελέγξτε για την παρουσία .md αρχεία
• Ελέγξτε αν ο ιστότοπος περιλαμβάνει llms.txt αρχείο* (δείτε τη σημείωση παρακάτω σχετικά με την επιφύλαξη εδώ)
• Βεβαιωθείτε ότι ο ιστότοπος δεν μπλοκάρει ακούσια τους ανιχνευτές LLM

Όπως αναφέρθηκε παραπάνω, το εργαλείο εντοπίζει τι μπορεί να λείπει. Σε αυτό το σημείο, δεν είναι 100% γνωστό τι πρέπει να γίνει, καθώς πρόκειται για ένα εξελισσόμενο πρότυπο.

Η άποψή μας για το "τι πρέπει να γίνει" για να βοηθηθούν οι ανιχνευτές για τα εργαλεία τεχνητής νοημοσύνης βασίζεται στην τρέχουσα εμπειρία μας. Θα παραπέμπουμε σε υποστηρικτικούς πόρους καθώς αυτοί δημοσιεύονται, οπότε συγχωρήστε μας την έλλειψη συνδέσμων προς το παρόν.

Σύρσιμο, εκπαίδευση, αναζήτηση - Συν νέες πωλήσεις

Ας ξεκινήσουμε με το εξής: οι πωλήσεις έρχονται ήδη από αυτά τα νέα μοτίβα αναζήτησης. Οι άνθρωποι πηγαίνουν στο αγαπημένο τους AI chatbot, κάνουν έρευνα με την πρόθεση να αγοράσουν και έρχονται στις τοποθεσίες μας για να ολοκληρώσουν την αγορά. Αυτό είναι ένα γεγονός που έχω δει προσωπικά ο ίδιος. Το μοτίβο δεν έχει γίνει ακόμη ακριβώς κατανοητό και δεν είναι επίσης σαφές πόσο μεγάλο μέρος αυτής της ροής αγορών θα μετατοπιστεί από τις αναζητήσεις της Google στο ChatGPT και σε παρόμοια.

Οι παρακάτω πληροφορίες περιγράφουν τι βλέπουμε. Δεν μιλάω για το αν πρέπει να χρησιμοποιούνται ιστοσελίδες, έγγραφα, βιβλία κ.λπ. για την εκπαίδευση των LLMs χωρίς οι LLMs να δίνουν αναφορά σε αυτό πάνω στο οποίο εκπαιδεύτηκαν. Έχω τις απόψεις μου σχετικά με αυτό που θα δημοσιεύσω μια άλλη φορά, καθώς αυτή είναι μια εύλογη ανησυχία. Για την παρούσα συζήτηση, μιλάω για ιστότοπους που έχουν ήδη αποδεχθεί ρητά ότι η Google και οι ομόλογοί της θα ανιχνεύουν και θα απορροφούν τις πληροφορίες τους με σκοπό την αποστολή επισκεπτών στον ιστότοπό τους με σκοπό το χρηματικό κέρδος.

Η ανίχνευση ιστότοπων γίνεται τώρα από πολλές "εταιρείες τεχνητής νοημοσύνης". Αρκετοί μεγάλοι παίκτες, συμπεριλαμβανομένων των OpenAI και Anthropic, έχουν παράσχει οδηγίες σχετικά με το πώς σέβονται robots.txt και τι τους User-Agent θα παρουσιαστεί στον διακομιστή ιστού σας. Έχουμε παρατηρήσει αυτή τη δραστηριότητα στα αρχεία καταγραφής του διακομιστή.

Αυτό που δεν είναι σαφές είναι αν θα υπάρχει διαφορετικό μοτίβο μεταξύ των ανιχνεύσεων για συμπερίληψη σε σύνολα δεδομένων κατάρτισης και των ανιχνεύσεων λόγω των "άμεσων" αναγκών πληροφόρησης. Οι ανάγκες πληροφοριών "αμέσως τώρα" ορίζονται ως εξής:

• Παράλληλες περιηγήσεις σελίδων - όταν ένας χρήστης του Anthropic ή του ChatGPT ζητά από την εν λόγω υπηρεσία, όπως η Deep Research, να εκτελέσει αναζητήσεις, η διαδικασία περιλαμβάνει παράλληλη επίσκεψη πολλών σελίδων για να τις αξιολογήσει στη συνέχεια η LLM.
• Πρόσφατα δεδομένα που απαιτούνται - όταν ένας χρήστης αναζητά πληροφορίες που δεν είναι πιθανό να είναι τρέχουσες στο σύνολο δεδομένων εργασίας του LLMs, το LLM θα ελέγξει ιστότοπους εν κινήσει για να συλλέξει πρόσφατες πληροφορίες.
• Συγκεκριμένο αίτημα - όταν ένας χρήστης ζητάει συγκεκριμένα ορισμένες πληροφορίες, όπως μια ιστοσελίδα ή ένα βίντεο, που πρέπει να απορροφηθεί από το LLM και να συνοψιστεί για χρήση.
• Άλλοι λόγοι

Τα "τώρα αμέσως" crawls συμβαίνουν με ένα ορισμένο επίπεδο επείγοντος που εκδηλώνεται με ταχείες παράλληλες αιτήσεις σελίδων στον ιστότοπό σας. Μπορεί να ευχόμαστε αυτές οι υπηρεσίες να μετρούσαν περισσότερο τα αιτήματά τους, αλλά ρεαλιστικά προσπαθούν να επιτύχουν έναν στόχο για την εμπειρία του χρήστη και η επιτάχυνση της διαδικασίας συλλογής δεδομένων είναι ένας εύκολος τρόπος να βοηθήσουν σε αυτό.

Όπως και να έχει, όταν μια σελίδα ανιχνεύεται, ο κύριος σκοπός είναι να απορροφηθεί η σελίδα και να μετατραπεί σε μορφή έτοιμη για μηχανήματα. Στην πιο απλή της μορφή, μετατρέπεται σε Markdown. Το Markdown είναι μια αναπαράσταση του περιεχομένου της σελίδας με βάση το κείμενο, συμπεριλαμβανομένης της αναπαράστασης των πινάκων και των εικόνων σε κείμενο. Υπάρχουν αρκετά δημοφιλή συστήματα που το κάνουν αυτό, αλλά κάθε εργαλείο ανίχνευσης το κάνει λίγο διαφορετικά όμως. Τα ανοιχτού κώδικα είναι διαθέσιμα για να τα αξιολογήσουμε. Τα παρασκηνιακά στις υπηρεσίες είναι λιγότερο προφανή, αλλά αναμένουμε ότι χρησιμοποιούν μία από τις δημοφιλείς βιβλιοθήκες.

Εκτός από τις ανιχνεύσεις μίας σελίδας βλέπουμε ότι οι ανιχνευτές έχουν σχεδιαστεί για να διαβάζουν τις sitemap.xml αρχείο. Από αυτό, μπορεί στη συνέχεια να ανιχνεύσει κάθε διεύθυνση URL και να παράγει το αντίστοιχο αρχείο Markdown. Αυτό είναι συνήθως απλά ένα .md αρχείο για κάθε μία από τις σελίδες που έχουν ανιχνευθεί.

Για παράδειγμα, ας πάρουμε μια σελίδα που ονομάζεται "about-us". Αυτή θα μπορούσε να είναι μια στατική σελίδα ή μια σελίδα που δημιουργείται από μια εφαρμογή ιστού ή δημιουργείται από την πλευρά του διακομιστή, όπως WordPress. Έχει όμως αποδοθεί στο πρόγραμμα περιήγησης. Αυτή η σελίδα είναι πλούσια σε γραφικά, χρώματα, διάταξη, εικόνες κ.λπ. για να τη διαβάσει και να την απορροφήσει ένα άτομο. Για τις πιο συνηθισμένες περιπτώσεις χρήσης, οι LLM χρειάζονται αυτό το πλούσιο περιεχόμενο μεταφρασμένο σε Markdown για να απορροφηθεί εύκολα.

Για το σύστημά μας, θα παράγει μερικά από αυτά τα παρακάτω ως δημόσιες διευθύνσεις URL με την ακόλουθη πιθανή δομή αρχείου:

• /inmotion-ai-helper/openai/directory/about-us.md
• /inmotion-ai-helper/claude/directory/about-us.md
• /inmotion-ai-helper/gemini/directory/about-us.md
• /inmotion-ai-helper/opencrawl/directory/about-us.md
• /inmotion-ai-helper/crawl4ai/directory/about-us.md
• /inmotion-ai-helper/docling/directory/about-us.md

Όπως μπορείτε να δείτε, υπάρχουν αρκετοί δημοφιλείς ανιχνευτές. Θα καλύψουμε μερικούς από αυτούς σε μελλοντικά βίντεο τεχνικής αξιολόγησης και αναρτήσεις καθώς προχωράμε στις αξιολογήσεις μας. Το κύριο σημείο όμως είναι ότι το σχέδιό μας είναι να χρησιμοποιήσουμε τους μεμονωμένους ανιχνευτές για να παράγουμε ένα .md ειδικά για αυτό. Στη συνέχεια, ο ιχνηλάτης μπορεί απλά να διαβάσει ότι .md αρχείο. Αυτό θα το κάνει πολύ, πολύ πιο γρήγορο και θα σταματήσει κάθε εταιρεία που χρησιμοποιεί αυτό το πρόγραμμα ανίχνευσης να πρέπει να επεξεργάζεται την ίδια σελίδα στο .md αρχείο.

Από τη δική μας πλευρά, θα παρακολουθούμε για σημαντικές ενημερώσεις των crawlers και μπορούμε να ενεργοποιήσουμε ενημερώσεις στο .md αρχεία περιστασιακά. Σκεφτόμαστε πόσο συχνά θα μπορούσε να συμβαίνει αυτό ή ακόμα και αν μπορούμε να αφήσουμε τον ίδιο τον ανιχνευτή να προκαλέσει μια νέα ενημέρωση του .md αρχεία χρησιμοποιώντας κάποια απλή κλήση API στην υπηρεσία μας.

Σημειωτέον, θα συνεργαστούμε επίσης με τους ίδιους τους παρόχους των crawler για να δούμε τι μπορεί να τους βοηθήσει.

LLMs.txt vs Robots.txt

Λίγο πίσω η ιδέα της ύπαρξης καθοδήγησης ειδικά για τα LLMs να φορτωθεί σε ένα νέο llms.txt αρχείο παρόμοιο με το robots.txt αρχείο. Η συζήτηση τώρα είναι αν ένα συγκεκριμένο αρχείο είναι η σωστή επιλογή. Τα crawlers είναι ρομπότ και τα καλά γραμμένα σέβονται ήδη το robots.txt. Η ιδέα ενός llms.txt μου φάνηκε λογικό την πρώτη φορά που το διάβασα, αλλά αφού σκέφτηκα το θέμα, αισθάνομαι ότι είτε λύνεται ήδη από το robots.txt είτε θα πρέπει να λυθεί με κάποιες μικρές προσθήκες στο robots.txt.

Ακολουθούν μερικά παραδείγματα από το llms.txt στον ιστότοπο inmotionhosting.com. Θα μείνω έξω από τη διαφωνία προς το παρόν και θα αφήσω το μοτίβο χρήσης να μας βοηθήσει. Επί του παρόντος, η ποσότητα πρόσβασης σε αυτό το αρχείο δεν είναι πραγματικά μετρήσιμη σε σύγκριση με την επισκεψιμότητα του ιστότοπου και τις αιτήσεις robots.txt. Έτσι, προς το παρόν, ας το ονομάσουμε "δεν είναι κάτι", αλλά θα συνεχίσουμε να το παρακολουθούμε. Η ιδέα όμως είναι σωστή, οπότε ελπίζουμε ότι οι ανιχνευτές θα αρχίσουν να σέβονται το ένα ή το άλλο.

Σκόπιμο ή τυχαίο μπλοκάρισμα των ερπετών

Είναι σημαντικό να γνωρίζετε αν ο ιστότοπός σας είναι ανιχνεύσιμος ή όχι. Αν θέλετε να μπλοκάρετε τους ανιχνευτές, αυτό δεν είναι το κατάλληλο μήνυμα γι' αυτό. Μπορείτε να δείτε αυτή τη σελίδα για πιθανές μεθόδους, αλλά δεν είναι πραγματικά δυνατό τελικά να αποκόψετε την πρόσβαση σε δημόσιο περιεχόμενο.

Για αυτή τη δημοσίευση, εστιάζουμε στο να γνωρίζουμε αν οι σελίδες σας είναι ανιχνεύσιμες, επειδή θέλετε το περιεχόμενό σας στις μεγάλες LLM κατά τη διάρκεια της Εκπαίδευσης και κατά τη διάρκεια της αναζήτησης "Right Now". Για μένα, ένας γρήγορος επιτόπιος έλεγχος αυτό γίνεται απλά πηγαίνοντας στα τέσσερα κορυφαία AI chatbots μου και ζητώντας του να αποκτήσει πρόσβαση σε μια σελίδα στον ιστότοπό μας. Αν δεν μπορεί, έχουμε πρόβλημα.

Cloudflare δοκιμάζει επίσης μερικά πράγματα για τα οποία ανησυχώ. Θα δημοσιεύσω περισσότερα σχετικά με αυτό και τρόπους για να ελέγξετε την ανιχνευσιμότητα.

Επόμενα βήματα και ανοικτές ερωτήσεις

Ο χώρος αυτός εξελίσσεται ραγδαία και ακολουθούμε μια διαδραστική προσέγγιση. Εδώ είναι μερικές ερωτήσεις που ακόμα επεξεργαζόμαστε:

• Ποιες εξόδους Markdown θα πρέπει να υποστηρίζουμε;
• Πόσα από αυτά γίνονται ήδη από τα μεγάλα ρομπότ τεχνητής νοημοσύνης; Είναι πιθανό να αποθηκεύουν ήδη το Markdown για δημοφιλείς ιστότοπους. Σίγουρα τα εργαλεία κάνουν επί του παρόντος ανιχνεύσεις ιστότοπων κατά παραγγελία, οπότε προς το παρόν έχει σημασία.
• Θα πρέπει να σκεφτούμε αν αυτό το περιεχόμενο θα πρέπει να φιλοξενείται μόνο από εμάς; ai-helper-cdn.inmotionhosting.com/sitename/openai/directory/filename.md
• llms.txt - το παρακολουθούμε και θα το συμπεριλάβουμε προς το παρόν. Αργότερα μπορούμε είτε να το διπλασιάσουμε είτε να το καταργήσουμε αν οι ανιχνευτές κολλήσουν με το robots.txt
• Όταν ένας πελάτης δημοσιεύει νέες σελίδες στον ιστότοπό του, πόσο συχνά πρέπει να το ελέγχουμε και να ενημερώνουμε το .md και .xml αρχεία;
• Θα πρέπει να ενσωματώσουμε μια ροή εργασίας βασισμένη στο Git για να γίνει αυτό ευκολότερο;
• Πώς μπορούμε να υποστηρίξουμε καλύτερα τους χρήστες WordPress ; Θα πρέπει αυτό να ενσωματωθεί με το πρόσθετο Total Cache;

Έχουμε πολλά να δουλέψουμε, αλλά θέλαμε να μοιραστούμε την κατεύθυνσή μας και να ευαισθητοποιηθούμε: οι πωλήσεις έρχονται ήδη από αυτά τα εργαλεία. Είναι ήδη σημαντικά και θα έχουν αυξημένη σημασία για τα επόμενα χρόνια.