Robots.txt Oluşturucu

Robots.txt Dosyası Ne İşe Yarar?

Robots.txt, sitenizin kök dizininde duran ve arama motoru botlarına (Googlebot, Bingbot gibi) hangi bölümleri tarayabileceklerini, hangilerine girmemeleri gerektiğini söyleyen basit bir metin dosyasıdır. Bir botun ilk yaptığı işlerden biri bu dosyayı okumaktır; bu yüzden doğru yazılmış bir robots.txt, tarama bütçenizi (crawl budget) önemli sayfalara yönlendirir ve gereksiz bölümlerin boşuna taranmasını engeller. Robots.txt oluşturucu, bu kuralları sözdizimi hatası yapmadan üretmenizi sağlar.

Temel Direktifleri Tanıyın

• User-agent: Kuralların hangi bota uygulanacağını belirler. * tüm botlar anlamına gelir.
• Disallow: Belirtilen yolun taranmasını engeller (örneğin /admin/ veya /sepet/).
• Allow: Disallow ile engellenen bir dizinin içindeki belirli bir yolu yeniden açar.
• Crawl-delay: Botun istekler arasında bekleyeceği saniyeyi belirtir; sunucu yükünü azaltır. Google bunu yok sayar ama bazı botlar dikkate alır.
• Sitemap: Site haritanızın tam adresini bildirir; botların tüm sayfalarınızı keşfetmesini hızlandırır.

Adım Adım Nasıl Oluşturulur?

1. Hedef botu seçin (genelde tüm botlar için *).
2. Engellemek istediğiniz dizinleri Disallow satırlarına ekleyin (yönetim paneli, arama sonuç sayfaları, sepet vb.).
3. Gerekirse Allow ile istisnalar tanımlayın ve site haritanızın URL'sini Sitemap satırına yazın.
4. Üretilen dosyayı kopyalayın, robots.txt adıyla kaydedip sitenizin kök dizinine yükleyin.
5. siteniz.com/robots.txt adresinden erişilebildiğini kontrol edin.

Sık Yapılan Hatalar ve En İyi Uygulamalar

En tehlikeli hata, yanlışlıkla Disallow: / yazarak tüm siteyi taramaya kapatmaktır; bu, sitenizin Google'dan tamamen kaybolmasına yol açabilir. Yayına almadan önce kuralları mutlaka gözden geçirin.

Bir diğer kritik nokta: robots.txt taramayı engeller, indekslemeyi değil. Bir sayfayı arama sonuçlarından tamamen kaldırmak istiyorsanız, o sayfaya noindex meta etiketi eklemelisiniz; çünkü engellenen bir sayfa başka sitelerden link aldığında yine de indekslenebilir. Ayrıca CSS ve JavaScript dosyalarını engellemeyin; Google sayfayı doğru render edebilmek için bunlara erişmek ister. Robots.txt'yi tamamlamak üzere diğer ücretsiz araçlar arasındaki meta etiket oluşturucu ile noindex etiketini de kolayca hazırlayabilirsiniz.