Robots.txt Generator

Robots.txt Dosyası Ne İşe Yarar?

robots.txt, sitenizin kök dizininde bulunan ve arama motoru botlarına hangi sayfaları tarayabileceklerini bildiren basit bir metin dosyasıdır. Yanlış yapılandırılmış bir robots.txt, tüm sitenizin arama motorlarından gizlenmesine neden olabilir; bu yüzden dikkatli oluşturulmalı ve Google Search Console üzerinden test edilmelidir.

robots.txt yalnızca tarama iznini yönetir, sayfaların indekslenmesini garanti etmez veya engellemez — indeksleme için `noindex` meta etiketi ya da Search Console kullanılmalıdır. Sitenizin teknik SEO altyapısını uçtan uca gözden geçirmek isterseniz teknik SEO hizmetimize, sitemap konusunda bilgi almak isterseniz SEO rehberlerimize göz atabilirsiniz.

Hangi Dizinleri Engellemeliyim?

• /admin/, /wp-admin/: Yönetim panelleri — kullanıcıların ve arama motorlarının görmesine gerek olmayan alanlar.
• /cgi-bin/: Sunucu betiklerinin bulunduğu, içerik taşımayan teknik dizin.
• Arama/filtre sonuçları (ör. ?sort=, ?filter=): Aynı içeriğin sonsuz varyasyonunu oluşturarak "tarama bütçenizi" (crawl budget) israf edebilir.
• Test/geliştirme ortamları: Canlıya benzer ama yayında olmaması gereken alt dizinler, yanlışlıkla indekslenmemeli.

Oluşturduktan Sonra Ne Yapmalısınız?

Dosyayı indirin ve sitenizin tam kök dizinine (siteniz.com/robots.txt adresinde erişilebilir olacak şekilde) yükleyin — alt dizine koymak işe yaramaz. Yükledikten sonra Google Search Console'da Ayarlar bölümündeki robots.txt raporundan Google'ın dosyayı ne zaman ve hatasız okuyup okumadığını kontrol edin; belirli bir sayfanın yanlışlıkla engellenip engellenmediğini görmek için de URL Denetimi aracını kullanın. Eski "robots.txt Test Aracı" Aralık 2023'te kaldırıldı.