Robot.txt ne işe yarar?
Robots.txt "arama motoru botlarının" sitenin nerelerini dizinlere ekleyip nereyi eklemeyeceğini,
sitemap'ın dosya yolu gibi ayarların yer aldığı
text dosyasıdır.
Robot.txt ayarını neden yapmalıyım?
Google blog sitelerine yaptığı son vurgun ile 'etiket sistemlerini' defaultta (varsayılan durumda) dizine almamaya başladı. Amaç arama sorgusunda kaliteyi artırmak olsada, spam içerik barındıran sitelerin dizinlerden kalkmaya başlaması Seo konusunda merak uyandırmaya başladı. Esas olarak bu ayar
search ve label'lerin engellenmesini önlemektir.
Nasıl Yaparım?
Ayarlar'dan Arama tercihlerine giriyoruz.
Özel robots.txt'nin karşısında bulunan "Düzenle" bölümüne tıklıyoruz.
Özel robots.txt içeriği etkinleştirilsin mi? sorusuna "Evet" seçeneğini işaretliyoruz.
Altta verilen Robots.txt içeriğini giriyoruz.
User-agent: *
Disallow:
Allow:/
Sitemap: atom.xml?redirect=false&start-index=1&max-results=500