Ücretsiz Araç
Robots.txt Generator
Arama motoru botlarının sitenizde hangi dizinleri tarayabileceğini belirleyin, robots.txt dosyanızı indirin.
Robots.txt Dosyası Ne İşe Yarar?
robots.txt, sitenizin kök dizininde bulunan ve arama motoru botlarına hangi sayfaları tarayabileceklerini bildiren basit bir metin dosyasıdır. Yanlış yapılandırılmış bir robots.txt, tüm sitenizin arama motorlarından gizlenmesine neden olabilir; bu yüzden dikkatli oluşturulmalı ve Google Search Console üzerinden test edilmelidir.
robots.txt yalnızca tarama iznini yönetir, sayfaların indekslenmesini garanti etmez veya engellemez — indeksleme için `noindex` meta etiketi ya da Search Console kullanılmalıdır. Sitenizin teknik SEO altyapısını uçtan uca gözden geçirmek isterseniz teknik SEO hizmetimize, sitemap konusunda bilgi almak isterseniz SEO rehberlerimize göz atabilirsiniz.
Hangi Dizinleri Engellemeliyim?
- /admin/, /wp-admin/: Yönetim panelleri — kullanıcıların ve arama motorlarının görmesine gerek olmayan alanlar.
- /cgi-bin/: Sunucu betiklerinin bulunduğu, içerik taşımayan teknik dizin.
- Arama/filtre sonuçları (ör. ?sort=, ?filter=): Aynı içeriğin sonsuz varyasyonunu oluşturarak "tarama bütçenizi" (crawl budget) israf edebilir.
- Test/geliştirme ortamları: Canlıya benzer ama yayında olmaması gereken alt dizinler, yanlışlıkla indekslenmemeli.
Oluşturduktan Sonra Ne Yapmalısınız?
Dosyayı indirin ve sitenizin tam kök dizinine (siteniz.com/robots.txt adresinde erişilebilir olacak şekilde) yükleyin — alt dizine koymak işe yaramaz. Yükledikten sonra Google Search Console'daki "robots.txt Test Aracı" ile dosyanın doğru okunduğunu ve istemediğiniz bir sayfayı yanlışlıkla engellemediğinizi mutlaka kontrol edin.