Robots.txt dosyası, web sitelerinin kök dizininde yer alan ve arama motoru botlarına sitenin hangi bölümlerini tarayıp tarayamayacağını bildiren bir metin dosyasıdır.site sahiplerine tarama sürecini kontrol etme imkânı verir.
Robots.txt SEO İçin Neden Önemlidir?
- Kaynak yönetimi: Sunucunuzun tarama bütçesini boşa harcatmaz, önemli sayfaların öne çıkmasını sağlar.
- Gereksiz içeriklerin önlenmesi: Admin paneli, test sayfaları veya tekrar eden içerikler gibi kullanıcıya faydası olmayan bölümlerin taranmasını engeller.
- SEO stratejisi desteği: Arama motorlarının doğru sayfalara odaklanmasını sağlayarak sıralamalarda yükselmenize katkı verir.
Ancak yanlış kullanıldığında önemli sayfaların indexlenmesi engellenebilir ve ciddi SEO kayıplarına yol açar.
yanlış kullanım örnek aiağıdaki gibi :
User-agent: *
Disallow: /wp-includes/
Disallow: /wp-content/
Robots.txt Dosyası Nasıl Oluşturulur?
- User-agent: Kuralların hangi bot için geçerli olduğunu belirtir (ör. Googlebot, Bingbot).
- Disallow: Tarama engellenecek sayfaları veya dizinleri listeler.
- Allow: Disallow’a rağmen izin verilecek özel yolları belirtir.
- Sitemap: Site haritası linkinizi ekleyerek arama motorlarının sayfaları daha iyi keşfetmesini sağlayabilirsiniz.
Robots.txt Örnekleri
tüm siteyi kapatma
User-agent: *
Disallow: /
Belirli sayfaları engelleme
User-agent: *
Disallow: /admin/
Disallow: /gizli-sayfa.html
Belirli botlara izin verme veya engelleme
User-agent: Googlebot
Disallow: /test/
User-agent: Bingbot
Allow: /
Robots.txt ile Yapılan Yaygın Hatalar
- Yanlış disallow kullanımı: Tüm siteyi kapatarak organik trafiği sıfırlamak.
- Önemli sayfaları engellemek: Blog yazıları veya ürün sayfalarını yanlışlıkla disallow etmek.
- Robots.txt’yi gizleme aracı sanmak: Robots.txt yalnızca taramayı engeller, sayfanın tamamen gizlenmesini sağlamaz.
- Sitemap eklememek: Arama motorlarının siteyi daha iyi anlaması için sitemap mutlaka eklenmelidir.