Robots.txt Dosyası Nedir ve Nasıl Oluşturulur?

Robots.txt

Web sitemizde, arama motorlarının erişmesini ve dizine eklenmesini istemediğimiz yerleri işaretleyebileceğimiz metin dosyasıdır. Bu işlem robotları engelleme standardı olarak adlandırılabilir. Aynı zamanda, robot engelleme protokolü de diyebiliriz. Bu dosya sitemizin ana dizinine yüklenmelidir. Yani seoreq.com/robots.txt adresinden erişilebilir olmalıdır.

Robots.txt her sitede mutlaka yer alması gerekmektedir.Dosya küçük bir komut setine sahiptir. Bu komutlar arama motoru botları için klavuz niteliğindedir.

Avantajları: Sitemizin admin girişi, özel dosyaları paylaştığımız sayfalar gibi yerleri rahatlıkla arama motoru dizininden çıkartabiliriz.
Dezavantajları: Yanlış kullanıldığı taktirde sitemizin önemli içeriklerini arama motorlarına kapatabiliriz.

Robots.txt 23 yaşında!

Robots.txt Nasıl Oluşturulur?

Oluşturulması gayet basittir. En azından bizim için öyledir. Ancak destek verdiğimiz sitelerde bir çok yazılımcının bu konuda hata yaptıklarını gördük. Standart bir robots.txt de 4 terim bulunur.

User-agent: Kuralın hangi arama motoru için geçerli olacağını belirtir
Disallow: Engellenmesini istediğiniz yerleri gösterir.
Allow: Engellenenen dizinlerde, engelini açmak istediğiniz özel sayfaları gösterir.
Sitemap: Site adresimizi belirtir.

Örnekler:

User-agent: *
Disallow:
( Tüm robotlara, tüm siteyi tarayabileceğini söyler)

User-agent: *
Disallow: /
( Tüm robotlara, tüm sityeyi taramaması gerektiğini söyler )

User-agent: *
Disallow: /ozel/
( Bütün robotlar, özel isimli dizini indekslemesin )

User-agent: ReqBot
Disallow: /ozel/

( ReqBot, özel isimli dizini indekslemesin )

Robots.txt Dosyası Nedir ve Nasıl Oluşturulur?
5 (100%) 1 oy
Tarih: - 1 ay önce

Bir Cevap Yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir