Herkes bir yerlerde "llms.txt oluşturun, AI'lara sitenizi tanıtın" diye okuyup hemen bir dosya hazırlıyor. Sonra rahatlıyor: "Tamam, artık ChatGPT de Gemini de Claude de sitemi anlıyor." Ama gerçek çoğu zaman böyle değil. Yaptığım testlerde gördüğüm rakam çarpıcı: llms.txt dosyası bulunan sitelerin %90'ına yakınında dosya, yapay zeka botları tarafından hiç okunamıyor. Sebep basit ama fark edilmesi zor: dosya sunucuda duruyor, tarayıcıda düzgün açılıyor, ama AI bot geldiğinde önünde görünmez bir duvar buluyor.
Bunu tesadüfen kendi testlerimde keşfettim. Gemini'ye doğrudan https://webantares.com/llms.txt adresini verip içeriği okumasını istedim. Beklediğim şey basit bir metin dökümüydü. Onun yerine şu cevabı aldım:
"Sunucu tarafındaki bir erişim kısıtlaması, bot/crawler engeli veya doğrudan bağlantı hatası nedeniyle sayfa içeriği çekilemiyor."
İlk anda "dosyada bir hata mı var" diye düşündüm. Ama dosya tarayıcıda sorunsuz açılıyordu, içeriği doğruydu, formatı standarttı. Sorun dosyada değildi. Sorun, dosyanın önünde duran görünmez bir bekçideydi: Cloudflare.
Bu yazıda, bu sorunun kökeninde ne olduğunu, neden bu kadar yaygın olduğunu ve adım adım nasıl kalıcı olarak çözeceğinizi anlatıyorum.
llms.txt Nedir ve Neden Önemli?
Kısaca hatırlatmak gerekirse: llms.txt, bir web sitesinin yapay zeka modellerine kendini tanıtmak için oluşturduğu, robots.txt mantığına benzer ama farklı amaçlı bir metin dosyasıdır. Sitenizin ne işe yaradığını, hangi sayfaların önemli olduğunu, hangi içeriklerin AI tarafından öncelikli okunması gerektiğini düz metin halinde özetler.
2025'in sonlarından itibaren özellikle "AI görünürlüğü" (AI visibility, GEO - Generative Engine Optimization) konuşulmaya başladığında llms.txt bir standart haline geldi. Mantık şu: arama motorları sitenizi robots.txt ve sitemap.xml üzerinden nasıl tarıyorsa, büyük dil modelleri de llms.txt üzerinden sitenizi "anlamaya" çalışıyor.
Sorun şu ki, dosyayı oluşturmak işin sadece yarısı. Dosyanın AI botlarına erişilebilir olması gereken diğer yarısı çoğu zaman hiç konuşulmuyor. Ben de bunu ancak canlı test ederek fark ettim.
Neden "Sunucu Tarafındaki Bir Erişim Kısıtlaması" Hatası Alıyorsunuz?
Bu hatanın arkasında neredeyse her zaman aynı sebep yatıyor: Cloudflare Bot Management ve WAF (Web Application Firewall).
Cloudflare kullanan sitelerin büyük çoğunluğunda, Security bölümünde varsayılan olarak agresif bot koruması aktif geliyor. Bu koruma, kötü niyetli scraper'ları, spam botlarını ve DDoS saldırılarını engellemek için tasarlanmış - ve işini gayet iyi yapıyor. Ama bir yan etkisi var: aynı filtre, kendini bot olarak tanıtan her şeyi şüpheli görüyor. Bunun içine şunlar da giriyor:
- GPTBot (OpenAI)
- ClaudeBot ve Claude-User (Anthropic)
- Google-Extended ve Gemini'nin kullandığı crawler'lar
- PerplexityBot
- Bytespider (ByteDance/TikTok)
- Amazonbot, Applebot-Extended ve benzeri diğer AI ajanları
Yani siz sitenize özenle bir llms.txt dosyası koyup "buyurun, sitemi okuyun" derken, Cloudflare arka planda tam tersini yapıyor: "Bu bir bot, önce bir insan olduğunu kanıtla" diyerek isteği 403 Forbidden ile geri çeviriyor.
Sonuç: Siz içeride kapıyı AI'lara açtığınızı sanırken, Cloudflare dışarıda o kapıya çoktan kilit vurmuş oluyor. Dosya var, doğru, güncel - ama hiçbir AI ona ulaşamıyor. Bu da sizin "llms.txt hazırladım" çabanızı pratikte sıfıra indiriyor.
Bunun fark edilmesi zor olmasının sebebi de şu: siz dosyayı tarayıcınızda test ettiğinizde sorun yok gibi görünüyor. Çünkü tarayıcı isteği, bot imzası taşımıyor ve Cloudflare'in insan doğrulama sisteminden (JavaScript challenge, CAPTCHA vb.) sorunsuzca geçiyor. Sorun sadece bot user-agent'ı ile gelen isteklerde ortaya çıkıyor - yani tam da llms.txt'in var olma amacı olan trafikte.
Çözüm: Yapay Zekalara Özel "Allow" Kuralı Tanımlamak
İyi haber şu: bu sorunun çözümü dosyayı silmek, taşımak ya da yeniden yazmak değil. Tek yapmanız gereken, Cloudflare'e "bu dosya için istisna tanımla, bot kontrollerini burada uygulama" demek. Yani AI botlarına özel bir Allow (izin) kuralı yazacağız.
Bunu Cloudflare Dashboard üzerinden, kod yazmadan, birkaç dakikada yapabilirsiniz.
Adım Adım Kurulum
1. Cloudflare Dashboard'a girin ve ilgili siteyi seçin.
2. Sol menüden Security > Security Rules bölümüne gidin.
3. + Create rule butonuna tıklayın.
4. Kuralı şu şekilde yapılandırın:
Alan Değer Kural Adı Allow LLMS.TXT Field URI Path Operator contains Value llms.txt Action Skip 5. "Skip" seçeneğini işaretlediğinizde açılan alt seçeneklerin hepsini işaretleyin:
- All managed rules
- All custom rules
- Bot checks
- Browser Integrity Check
Bu dört seçeneğin hepsini atlamak önemli. Sadece "Bot checks" seçip diğerlerini boş bırakırsanız, managed rules veya custom rules seviyesinde başka bir kural isteği yine engelleyebilir.
Bu Kural Aslında Ne Yapıyor?
URI Path içinde llms.txt geçen her istek için tüm bot kontrollerini devre dışı bırakıyor. Burada "contains" (içerir) operatörünü seçmemizin özel bir sebebi var.
Çoğu kişinin yaptığı hata, kuralı URI Path equals /llms.txt şeklinde kurmak. Bu, yalnızca tam olarak /llms.txt adresine gelen istekleri açar. Ama modern llms.txt uygulamalarında genellikle iki dosya bulunur:
/llms.txt- kısa, özet versiyon/llms-full.txt- sitenizin tüm önemli içeriğinin daha detaylı, genişletilmiş versiyonu
"Equals" operatörü ile kural yazarsanız /llms-full.txt dosyanız hâlâ engellenmeye devam eder çünkü URI tam olarak /llms.txt değildir. Bu yüzden doğru kullanım:
URI Path contains llms.txt
Bu şekilde hem /llms.txt hem /llms-full.txt hem de ileride eklemek isteyebileceğiniz benzer dosyalar (/llms-policy.txt gibi) tek kuralla kapsanmış olur.
Kuralı Aktif Edin
Kuralı kaydettikten sonra durumunu Active yapmayı unutmayın. Cloudflare'de bazen kural taslak (draft) olarak kalıp devreye girmeyebiliyor, bu yüzden kaydettikten sonra listede yeşil/aktif işaretini görmek önemli.
Değişikliği Nasıl Test Edersiniz?
Kuralı aktif ettikten sonra doğrulama yapmadan geçmeyin. Şu üç yöntemden en az birini kullanın:
1. AI asistanlarla doğrudan test: Gemini, ChatGPT veya Claude'a doğrudan https://siteniz.com/llms.txt adresini verip içeriği okumasını isteyin. Daha önce "sunucu tarafındaki erişim kısıtlaması" gibi bir hata alıyorsanız, kural doğru çalıştığında dosyanın içeriğini eksiksiz şekilde göreceksiniz.
2. Terminal üzerinden bot user-agent simülasyonu: Eğer teknik olarak rahatsanız, curl ile GPTBot user-agent'ı taklit ederek isteği test edebilirsiniz:
curl -A "GPTBot" -I https://siteniz.com/llms.txt
Yanıt kodunun 403 yerine 200 dönmesi gerekiyor.
3. Cloudflare Security Events logu: Dashboard içinde Security > Events bölümünden, llms.txt'e gelen isteklerin artık "Blocked" değil "Skipped" veya "Allowed" olarak göründüğünü kontrol edebilirsiniz.
Kuralı doğru kurduysanız, artık AI botları dosyanıza sorunsuz ulaşabilir ve içeriğini indeksleyebilir hale gelir.
Bu Sorunu Kaç Sitede Görüyoruz?
Bu konuyu araştırırken fark ettiğim şey, sorunun tek bir siteye özgü olmadığı. Cloudflare, günümüzde internet trafiğinin büyük bir kısmını yöneten en yaygın CDN ve güvenlik sağlayıcılarından biri. Bot Management ve WAF özellikleri de birçok pakette varsayılan olarak agresif ayarlarla geliyor. Bu da şu anlama geliyor: llms.txt kullanan ve aynı zamanda Cloudflare üzerinden yayın yapan sitelerin büyük bir kısmı, muhtemelen aynı sorunu -farkında olmadan- yaşıyor.
Bunun pratik sonucu şu: siz "AI SEO"ya, GEO'ya, llms.txt hazırlamaya zaman ve emek harcıyorsunuz ama bu emeğin sonuçları hiçbir AI motoruna ulaşmıyor. Sanki bir mağaza vitrini hazırlayıp önüne perde çekmek gibi bir şey oluyor.
Sonuç
llms.txt hazırlamak, 2026'nın AI görünürlüğü stratejisinin sadece yarısı. Diğer yarısı, o dosyayı gerçekten botlara açabilmek. Dosyayı yazmak kolay kısım; asıl mesele, sunucunuzun veya güvenlik katmanınızın o dosyaya erişimi kesip kesmediğini kontrol etmek.
Eğer siz de Cloudflare kullanıyorsanız ve "llms.txt hazırladım ama AI'lar sitemi görmüyor" diyorsanız, büyük ihtimalle sorun sizin dosyanızda değil, Cloudflare'in bot/crawler koruma katmanında. Bu yazıdaki adımları uyguladığınızda, dosyanız çalışmaya başlayacak ve sitenizin AI tarafından görünürlüğü gerçek anlamda artacak.
Ben Web Antares olarak, bu kuralı Türkiye'de ilk uygulayanlardan biriyim. Sitenizin AI görünürlüğünü ve llms.txt erişilebilirliğini kontrol etmek isterseniz, bizimle iletişime geçebilirsiniz.