1. Robots.txt Dosyası Nedir ve Arama Motoru Botları İçin Neden Hayatidir?
Robots.txt, bir web sitesinin kök dizininde (root directory) yer alan ve arama motoru örümceklerine (Googlebot, Bingbot, YandexBot vb.) hangi sayfa ve dizinlerin taranıp taranmayacağını bildiren basit bir metin dosyasıdır. Robots Exclusion Protocol (REP) standartlarına dayanır. Bir tarayıcı bot sitenizi ziyaret ettiğinde ilk olarak domain.com/robots.txt adresini çağırır. Eğer bu dosya bulunamazsa veya hatalı yapılandırılmışsa, bot sitenin tamamını kontrolsüzce taramaya başlayabilir ya da kritik sayfaları atlayabilir.
2. Tarama Bütçesi (Crawl Budget) Optimizasyonu ve Sunucu Kaynaklarının Korunması
Google, her web sitesine sunucunun yanıt verme hızına ve sitenin otoritesine bağlı olarak belirli bir "Tarama Bütçesi" (Crawl Budget) ayırır. Bu bütçe; Googlebot'un belirli bir zaman diliminde sitenizde tarayabileceği maksimum sayfa adedini temsil eder. Filtreli kategori sayfaları, arama sonuçları, yönetim paneli veya yinelenen sepet sayfaları gibi SEO değeri olmayan alanlar taranmaya devam ederse; Googlebot asıl ciro getiren ürün ve hizmet sayfalarınızı taramaya vakit bulamaz. Robots.txt, botları gereksiz dosyalardan uzak tutarak tarama bütçesini doğrudan kârlı sayfalara yönlendirir.
3. "Disallow" ile "Noindex" Arasındaki Ölümcül Fark
Teknik SEO dünyasında yapılan en tehlikeli hatalardan biri, bir sayfayı Google dizininden çıkarmak için robots.txt dosyasında Disallow kuralı kullanmaktır. Disallow bir tarama engelleme kuralıdır, indeks engelleme kuralı değildir. Bir sayfayı Disallow ile engellerseniz, Googlebot o sayfanın içine girip okuyamaz; ancak başka bir siteden o sayfaya bağlantı (backlink) verilmişse Google o sayfayı içeriğini bilmeden "Başlık bilgisi mevcut değil" uyarısıyla indeksleyebilir. Bir sayfanın asla dizine girmesini istemiyorsanız sayfayı taranabilir bırakıp HTML koduna <meta name="robots" content="noindex"> etiketi eklemelisiniz.
4. Yapay Zekâ (AI) Botları: GPTBot, ClaudeBot ve CCBot'u Engellemeli misiniz?
2024 ve sonrasında üretken yapay zekâ şirketleri (OpenAI, Anthropic, Common Crawl vb.) kendi bağımsız web tarayıcılarını devreye soktu. Örneğin OpenAI GPTBot, Anthropic ClaudeBot kullanıcı ajanlarını kullanır. Bu botlar içeriklerinizi toplayıp büyük dil modellerini (LLM) eğitmek için tarar. Eğer telifli içeriklerinizin yapay zekâ modelleri tarafından izin almadan eğitilmesini istemiyorsanız bu botları Disallow ile engelleyebilirsiniz. Ancak yeni nesil yapay zekâ arama motorlarında (SearchGPT, Perplexity) markanızın kaynak gösterilmesini istiyorsanız arama botlarına (örneğin OAI-SearchBot) izin vermeniz tavsiye edilir.
5. WordPress Siteleri İçin İdeal Robots.txt Mimarisi
Standart bir WordPress kurulumunda yönetim paneli dosyalarını izole etmek için Disallow: /wp-admin/ kuralı konur. Ancak bu kuralın hemen altına mutlaka Allow: /wp-admin/admin-ajax.php eklenmelidir. Çünkü modern temalar ve ön yüz formları dinamik veri çekmek için AJAX motorunu kullanır; Googlebot'un bu dosyaya erişememesi sayfa işleme (rendering) hatalarına yol açar. Ayrıca /?s= ve /search/ gibi dahili arama sonuçlarının da Disallow ile engellenmesi, sonsuz döngü ve zayıf içerik (thin content) cezalarını engeller.
6. Robots.txt Testi ve Google Search Console İle Doğrulama Yöntemleri
Robots.txt üzerinde yapacağınız tek bir yanlış eğik çizgi (/) tüm web sitenizin organik arama trafiğini saatler içinde sıfırlayabilir (Örn: Disallow: / tüm siteyi kapatır). Bu nedenle yeni bir dosya yayına almadan önce Google Search Console'un eski "Robots.txt Test Aracı" veya güncel URL Denetim aracı üzerinden kritik sayfaların taranabilirliği test edilmelidir. Canlı dosyanızın her zaman UTF-8 formatında kaydedilmiş ve maksimum 500 KB sınırını aşmamış olması şarttır.