Yapay Zeka SEO - Robots.txt, Markdown ve Yapay Zeka Sağlayıcıları Sitelerinizi Nasıl Tarıyor?

Lütfen dikkat: Bu makale, pazarda ortaya çıktığını gördüğümüz bir ürün ve standart vizyonunu belgelemektedir. Hem müşterilerin hem de bizim yeni yapay zeka sistemlerinin ve gelişen arama modellerinin gücüne nasıl yanıt vereceğimizi ve bunlardan nasıl yararlanacağımızı anlamamıza yardımcı olmayı amaçlamaktadır. Devam eden bir çalışma! Bununla birlikte, duyurumuz.

Müşterilerimizin ve diğer profesyonel web sitesi yöneticilerinin, arama sorgularını giderek daha fazla ele alan yapay zeka sağlayıcılarının getirdiği değişiklikleri yönlendirmelerine yardımcı olmak için yeni bir hizmet başlatıyoruz. Sitenizin yapay zekaya hazır olmasını sağlamaya yardımcı olmak için paylaşmak istediğimiz bir süreci kendimiz kullanıyoruz. Şimdilik buna InMotion AI SEO Helper adını veriyoruz.

Bu yazıda hem web sitemize hem de anonimleştirilmiş bir dizi web sitesine atıfta bulunacağım. Bir hosting şirketi olarak, birçok sitede toplu kalıpları görebiliyoruz ve bu kalıplar inmotionhosting.com web sitesinde olanlarla yakından eşleşiyor.

Nasıl çalıştığına dair bir fikir edinmek için AI SEO Helper'ın kısmi bir sürümünü doğrudan inmotionhosting.com/services/ai-seo-helper adresindeki web sitemizden kullanabileceksiniz. Bunun sağladığından daha fazlasına ihtiyacınız varsa, tam AI SEO Yardımcısını kullanmak için ücretsiz olarak kaydolmanız gerekecektir. Kaynak çekişmesi zamanlarında, müşterilerimizin sistemde birinci önceliğe sahip olduğunu lütfen unutmayın.

Araç web sitenizi kontrol edecek ve (mevcut plan) Sürüm 2'de aşağıdakileri yapacaktır. Elbette Sürüm 1'in bir alt kümesi olacaktır:

• Sitenin şu özelliklere sahip olduğundan emin olun robots.txt dosyasını açın ve neyin eksik olduğunu belirleyin
• Sitenin şu özelliklere sahip olduğundan emin olun sitemap.xml ve neyin eksik olduğunu belirleyin
• Şunların varlığını kontrol edin .md dosyalar
• Sitenin aşağıdakileri içerip içermediğini kontrol edin llms.txt dosya* (buradaki uyarı hakkında aşağıdaki nota bakın)
• Sitenin LLM tarayıcılarını istemeden engellemediğini doğrulayın

Yukarıda belirtildiği gibi, araç neyin eksik olabileceğini tanımlar. Bu noktada, gelişmekte olan bir standart olduğu için ne yapılması gerektiği %100 bilinmemektedir.

Yapay zeka araçları için tarayıcılara yardımcı olmak amacıyla "ne yapılması gerektiği" konusundaki görüşümüz devam eden deneyimlerimize dayanmaktadır. Destekleyici kaynaklara yayınlandıkça bağlantı vereceğiz, bu nedenle şimdilik bağlantı eksikliğini mazur görün.

Tarama, Eğitim, Arama - Artı Yeni Satışlar

Şöyle başlayalım: Bu yeni arama modellerinden satışlar gel meye başladı bile. İnsanlar en sevdikleri yapay zekalı sohbet robotuna gidiyor, satın alma niyetiyle araştırma yapıyor ve satın alma işlemini tamamlamak için sitelerimize geliyor. Bu, bizzat benim de gördüğüm bir gerçek. Bu model henüz tam olarak anlaşılmadı ve bu satın alma akışının ne kadarının Google aramalarından ChatGPT ve benzerlerine kayacağı da net değil.

Aşağıdaki bilgiler ne gördüğümüzü özetlemektedir. Web sitelerinin, makalelerin, kitapların vb. LLM'leri eğitmek için LLM'ler ne üzerine eğitildiklerine dair atıfta bulunmadan kullanılıp kullanılmayacağından bahsetmiyorum. Bu konuda başka bir zaman yayınlayacağım görüşlerim var çünkü bu meşru bir endişe. Bu tartışmada, Google ve benzerlerinin parasal kazanç elde etmek amacıyla sitelerine ziyaretçi göndermek için bilgilerini tarayıp alacağını zaten özellikle kabul etmiş olan web sitelerinden bahsediyorum.

Sitelerin taranması şu anda birçok "AI şirketi" tarafından gerçekleştiriliyor. OpenAI ve Anthropic de dahil olmak üzere birkaç büyük oyuncu, sitelere nasıl saygı duyduklarına dair rehberlik sağlamıştır robots.txt ve onların User-Agent olarak web sunucunuza sunacaktır. Bu etkinliği sunucu günlüklerinde gözlemledik.

Eğitim veri setlerine dahil olmak için yapılan taramalar ile "şu anda" bilgi ihtiyaçları nedeniyle yapılan taramalar arasında farklı bir model olup olmayacağı net değildir. "Şu anda" bilgi ihtiyaçları şu şekilde tanımlanmaktadır:

• Paralel Sayfa Taramaları - Anthropic veya ChatGPT kullanıcısı, Deep Research gibi söz konusu hizmetten arama yapmasını istediğinde, süreç LLM'nin daha sonra değerlendirmesi için birçok sayfanın paralel olarak ziyaret edilmesini içerir.
• Son Veriler Gerekli - bir kullanıcı LLM'nin çalışma veri setinde güncel olması muhtemel olmayan bir bilgi aradığında, LLM son bilgileri toplamak için web sitelerini anında kontrol edecektir.
• Özel İstek - bir kullanıcı özellikle bir web sayfası veya video gibi belirli bilgilerin LLM tarafından alınmasını ve kullanım için özetlenmesini istediğinde.
• Diğer nedenler

"Şu anda" yapılan taramalar, web sitenize yapılan hızlı paralel sayfa isteklerinde kendini gösteren belirli bir aciliyet seviyesiyle gerçekleşiyor. Bu hizmetlerin isteklerini daha fazla ölçmesini dileyebiliriz, ancak gerçekçi olmak gerekirse bir kullanıcı deneyimi hedefine ulaşmaya çalışıyorlar ve veri toplama sürecini hızlandırmak bunu yapmaya yardımcı olmanın kolay bir yolu.

Her iki şekilde de, bir sayfa tarandığında ana amaç o sayfayı almak ve makineye hazır bir biçime dönüştürmektir. En basit haliyle, Markdown'a dönüştürülür. Markdown, tabloların ve resimlerin metin gösterimi de dahil olmak üzere sayfanın içeriğinin metin tabanlı bir temsilidir. Bunu yapan birkaç popüler sistem vardır, ancak her tarama aracı bunu biraz farklı yapar. Açık kaynak kodlu olanlar değerlendirmemiz için mevcuttur. Hizmetlerin perde arkasındakiler daha az belirgindir, ancak popüler kütüphanelerden birini kullanmalarını bekliyoruz.

Tek sayfa taramalarına ek olarak, tarayıcıların aşağıdakileri okumak için tasarlandığını görüyoruz sitemap.xml dosya. Bundan sonra, her URL'yi tarayabilir ve eşleştirmek için Markdown dosyasını üretebilir. Bu genellikle sadece bir .md taranan sayfaların her biri için dosya.

Örneğin, "hakkımızda" adlı bir sayfayı ele alalım. Bu statik bir sayfa veya bir web uygulaması tarafından oluşturulmuş ya da WordPress gibi sunucu tarafında oluşturulmuş bir sayfa olabilir. Yine de tarayıcıda işlenmiştir. Bu sayfa, bir kişinin okuması ve özümsemesi için grafikler, renkler, düzen, resimler vb. açısından zengindir. En yaygın kullanım durumları için, LLM'ler bu zengin içeriğin kolayca özümsenmesi için Markdown'a çevrilmesine ihtiyaç duyar.

Sistemimiz için, bunlardan bazılarını aşağıdaki olası dosya yapısı ile halka açık URL'ler olarak üretecektir:

• /inmotion-ai-helper/openai/directory/about-us.md
• /inmotion-ai-helper/claude/directory/about-us.md
• /inmotion-ai-helper/gemini/directory/about-us.md
• /inmotion-ai-helper/opencrawl/directory/about-us.md
• /inmotion-ai-helper/crawl4ai/directory/about-us.md
• /inmotion-ai-helper/docling/directory/about-us.md

Gördüğünüz gibi, piyasada popüler olan birkaç tarayıcı var. Bunlardan birkaçını gelecekteki teknik değerlendirme videolarında ve değerlendirmelerimizde ilerledikçe yayınlayacağız. Ancak asıl önemli nokta, planımızın bireysel tarayıcıları kullanarak bir .md ona özel. Sonra bu tarayıcı basitçe şunu okuyabilir .md dosya. Bu çok çok daha hızlı olmasını sağlayacak ve bu tarayıcıyı kullanan her şirketin aynı sayfayı .md dosya.

Bizim tarafımızda, tarayıcıların büyük güncellemelerini izleyeceğiz ve .md dosyaları ara sıra. Bunun ne sıklıkta olabileceğini veya hatta tarayıcının kendisinin yeni bir güncelleme tetiklemesine izin verip veremeyeceğimizi düşünüyoruz. .md servisimize basit bir API çağrısı kullanarak dosyalar.

Ayrıca, onlara neyin yardımcı olabileceğini görmek için tarayıcı sağlayıcıların kendileriyle de çalışacağız.

LLMs.txt vs Robots.txt

Biraz önce, LLM'lere özel rehberliğin yeni bir kılavuza yüklenmesi kavramı llms.txt dosyasına benzer bir dosya robots.txt dosya. Şu anki tartışma, belirli bir dosyanın doğru seçim olup olmadığıdır. Tarayıcılar robotlardır ve iyi yazılmış olanlar zaten robots.txt'ye saygı duyarlar. Bir fikir llms.txt Bu konuyu ilk okuduğumda bana mantıklı gelmişti, ancak sorun hakkında düşündükten sonra, robots.txt tarafından zaten çözülmüş gibi geliyor ya da robots.txt.

İşte bizden bazı örnekler llms.txt inmotionhosting.com sitesinde. Şu anda tartışmanın dışında kalacağım ve kullanım modelinin bize yardımcı olmasına izin vereceğim. Şu anda, bu dosyaya erişim miktarı site trafiği ve robots.txt isteklerine kıyasla gerçekten ölçülebilir değil. Bu yüzden şu anda "bir şey değil" diyelim ama izlemeye devam edeceğiz. Fikir doğru olsa da, umarım tarayıcılar birine veya diğerine saygı duymaya başlar.

Tarayıcıların Kasıtlı veya Kazara Engellenmesi

Web sitenizin taranabilir olup olmadığını bilmek önemlidir. Eğer tarayıcıları engellemek istiyorsanız, bu yazı bunun için değil. Olası yöntemler için bu sayfaya göz atabilirsiniz, ancak sonuçta herkese açık içeriğe erişimi kesmek gerçekten mümkün değildir.

Bu yazıda, sayfalarınızın taranabilir olup olmadığını bilmeye odaklanıyoruz çünkü içeriğinizin Eğitim sırasında ve "Hemen Şimdi" aramaları sırasında başlıca LLM'lerde olmasını istiyorsunuz. Benim için bunu hızlıca kontrol etmek için ilk dört yapay zeka sohbet robotuma girip sitemizdeki bir sayfaya erişmesini istemem yeterli. Eğer yapamıyorsa, bir sorunumuz var demektir.

Cloudflare de endişelendiğim birkaç şey deniyor. Bu konu ve taranabilirliği test etme yolları hakkında daha fazla bilgi paylaşacağım.

Sonraki Adımlar ve Açık Sorular

Bu alan hızla gelişiyor ve biz de interaktif bir yaklaşım benimsiyoruz. İşte hala üzerinde çalıştığımız birkaç soru:

• Hangi Markdown çıktılarını desteklemeliyiz?
• Bunun ne kadarı büyük yapay zeka botları tarafından zaten yapılıyor? Muhtemelen popüler siteler için Markdown'u zaten önbelleğe alıyorlar. Kesinlikle araçlar şu anda talep üzerine site taramaları yapıyor, bu yüzden şimdilik önemli.
• Bu içeriğin sadece bizim tarafımızdan barındırılması gerekip gerekmediğini düşünmeli miyiz? ai-helper-cdn.inmotionhosting.com/sitename/openai/directory/filename.md
• llms.txt - Bunu takip ediyoruz ve şimdilik dahil edeceğiz. Daha sonra, tarayıcılar aşağıdaki gibi kalırsa ya iki katına çıkarabilir ya da kullanımdan kaldırabiliriz robots.txt
• Bir müşteri sitesinde yeni sayfalar yayınladığında, bunu ne sıklıkla denetlemeli ve .md ve .xml Dosyalar?
• Bunu kolaylaştırmak için Git tabanlı bir iş akışıyla entegre etmeli miyiz?
• WordPress kullanıcılarını en iyi nasıl destekleyebiliriz? Bu Total Cache eklentimizle entegre olmalı mı?

Üzerinde çalışmamız gereken çok şey var ancak yönümüzü paylaşmak ve farkındalığı artırmak istedik: satışlar bu araçlardan gelmeye başladı bile. Şimdiden önemliler ve önümüzdeki yıllarda da önemleri artacak.