Mimari Kılavuz: Bölüm 1/5
Bu yazı, web sitenizi yapay zeka motorları için görünür ve güvenilir bir kaynak haline getirmeyi hedefleyen 5 bölümlük GEO (Üretken Motor Optimizasyonu) Teknik Altyapı Serisi’nin ilk makalesidir. Tüm bölümler birbiriyle bağlantılı bir bütünün parçasıdır.
Üretken arama motorları ve LLM (Büyük Dil Modelleri) tabanlı sistemler, kullanıcılara yanıt üretirken geleneksel arama motorlarından farklı bir indeksleme ve tarama mimarisi kullanır. Sitenizin Semrush AI Visibility gibi metriklerde kaynak (citation) olarak listelenmesi için ilk aşama, yapay zeka botlarının sitenizin ham metin verisine hiçbir sunucu engeline takılmadan, en düşük tarama bütçesi (crawl budget) maliyetiyle erişebilmesidir.
Bir web sitesinin AI Search Health skorunu belirleyen ilk unsur, yapay zeka tarayıcılarına verilen izin protokolüdür. Yapay zeka modelleri veriyi işlemek için kendi özel botlarını kullanır. Bu botların sitenizin mimarisini eksiksiz anlamlandırması için sunucu düzeyinde ve robots.txt üzerinde explicit (açık) izin tanımlanmalıdır.
1. AI Botlarının Erişim Protokolü: robots.txt Yapılandırması
Bir web sitesinin AI Search Health skorunu belirleyen ilk unsur, yapay zeka tarayıcılarına verilen izin protokolüdür. Yapay zeka modelleri veriyi işlemek için kendi özel botlarını kullanır. Bu botların sitenizin mimarisini eksiksiz anlamlandırması için sunucu düzeyinde ve robots.txt üzerinde explicit (açık) izin tanımlanmalıdır.
User-agent: GPTBot
Allow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: Google-Extended
Allow: /
User-agent: PerplexityBot
Allow: /
- GPTBot / OAI-SearchBot: OpenAI'ın ChatGPT ve arama entegrasyonlarını besleyen birincil tarayıcılardır.
- Google-Extended: Google Gemini ve AI Overviews sistemlerinin veri havuzunu genişletmek için kullandığı erişim belirtecidir.
2. Tarama Bütçesi ve Sayfa Performansı İlişkisi
AI crawling süreci, geleneksel Googlebot taramalarına göre sunucu kaynaklarını daha yoğun tüketebilir. Yapay zeka botları, ağır JavaScript dosyalarının render edilmesini beklemek yerine doğrudan temiz HTML ve semantik metin bloklarını pars etmeyi tercih eder.
Sitenizde gereksiz script yüklerinin bulunması ve DOM ağacının aşırı derin kurgulanması, botun tarama bütçesini tüketerek sitenizi terk etmesine yol açar. Bu nedenle, teknik altyapının sıfır hata ile optimize edilmiş olması, yapay zekanın sitenizi birincil indeksine eklemesinin ön şartıdır.
3. Yapay Zeka İçin Teknik Denetim (Checklist)
- [ ]
robots.txtdosyasında ana yapay zeka ajanlarına blokaj uygulanmadığının doğrulanması. - [ ] Sunucu yanıt sürelerinin (TTFB) optimize edilerek botların bekleme süresinin düşürülmesi.
- [ ] Sayfa üzerindeki kritik bilgilerin JavaScript'e bağımlı olmadan, ham kaynak kodunda (SSR - Server Side Rendering) sunulması.
Mühendislik Notu: Yapay zeka motorları, erişemedikleri veya okurken sunucu kaynağı tüketen sayfaları güvenilir kaynak havuzundan eler. Geleceğin arama dünyasında görünür olmanın ilk adımı, botlar için kusursuz bir veri iletim hattı kurmaktır.
🔍 Bir Sonraki Adım: Bot Sitenize Girdi, Peki Ne Hızla Okuyor?
Botların sitenize girmesine izin verdik ve kapıları açtık. Ancak yapay zeka tarayıcılarının çok kısıtlı bir zamanı ve tahammülü var. Eğer siteniz bir JavaScript bataklığına dönüştüyse, botlar sayfayı anlamlandıramadan sitenizi terk eder.
Serimizin bir sonraki bölümünde, yapay zeka botlarının sitenizi milisaniyeler içinde nasıl okuduğunu ve performans metriklerinin yapay zeka görünürlüğüne doğrudan etkisini inceleyeceğiz.
👉 Serinin 2. Bölümü: Core Web Vitals ve LLM Botlarının Hız Algısı