Orjinal Sürümü Göaser
Yorumlar

Robots.txt dosyası nasıl oluşturulur?

Robots.txt dosyası Seo ve arama motorları için oldukça önemli bir kriterdir. Bu dosysa arama botlarına hangi kısımları indeksleyip hangi kısımları indekslemeyeceklerini gösteren bir harita gibidir. Yanlış düzenlenmiş robots.txt dosyası bazen istemediğiniz kısımların indekslenmesine yada istediğiniz kısımların indekslenmemesine sebep olabilir. Bu yüzden bu dosyayı oluştururken dikkatli ve bilinçli olmak gerekiyor.

Neden robots.txt dosyası kullanmalıyız?

Sebebin bir kısmını üstte aslında açıkladım. Fakat diğer önemli kriter ise, arama botları yada örümcekleri sitenize gelip indeksleme işlemine başlamadan önce, robots.txt dosyasının paykasa kart içeriğini kontrol ederek buna göre davranış sergilerler. Bu yüzden harita niteliği taşır ve önemlidir demiştik.

Robots.txt dosyası sitenize ait dosyaların bulunduğu ana dizinde yer almakta ve bildiğimiz .txt uzantılı bir dosyadan oluşmaktadır.

Robots.txt dosyası nasıl oluşturulur?

Herhangi bir dosya editörü ile kolayca oluşturabileceğiniz robots.txt dosyası için ben Notepad++ programını kullanıyorum ve gayet güzel bir program.

Robots.txt  dosyasında hangi komutlar kullanılır?
  • User-agent : Hangi arama motorlarının (google,yahoo,bing,msn,altavista…) gibi sitenizi indeksleme izni olduğunu belirtir.
  • Kullanım örneği : user-agent: * (tüm arama motorları indeksleyebilir)
  • Allow : İndekslenmesine izin verilecek olan dosya yada dizin için kullanılan komuttur.
  • Kullanım örneği : Allow: /wp-content/uploads/
  • Disallow : İndekslenmesine izin vermediğiniz, yada istemediğiniz dosya ve klasörler için kullanılır.
  • Kullanım Örneği : Disallow: /wp-admin/

Robots.txt dosyası oluştururken nelere dikkat edilmeli?
  • Dosya içerisindeki komutlarda yorum bulunmamalı
  • Satır başlarında boşluk olmamalı
  • Komutlar yanlış yazılmamalı
  • Komut sıralaması değiştirilmemeli Örnek :  her robots.txt dosyası user-agent komutu ile başlar
  • Birden fazla dizinin indekslenmemesini istiyorsanız tek satırda belirtebilirsiniz. Örnek : Disallow: /wp-content/wp-plugins/uploads
  • Dosya ve klasör isimlerini küçük harf ile yazın. Örnek : Belirtmek istediğiniz klasör ismi Resimler olsa bile robots.txt dosyasına resimler olarak yazmalısınız.

Robots.txt örnek kullanımları
Örnek 1
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /archives/ disallow: /*?*
Disallow: *?replytocom
Disallow: /comments/feed/
User-agent: Mediapartners-Google*
Allow: /
User-agent: Googlebot-Image
Allow: /wp-content/uploads/
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Mobile
Allow: /
Örnek 2
User-agent: *
Disallow: /cgi-bin/
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /comments/feed/
Disallow: /archives/
Disallow: /search/
Disallow: /search?
Disallow: /search?q=*
Disallow: /*?updated-max=*
Disallow: /*?*
Disallow: *?replytocom
Disallow: /wp-*
Disallow: /author
Disallow: /tag/
Disallow: /category/
Disallow: /trackback/
Allow: /wp-content/uploads
Allow: /
Sitemap: http://sitem.com/sitemap.xml
User-agent: Mediapartners-Google*
Allow: /
User-agent: Googlebot-Image
Allow: /wp-content/uploads/
User-agent: Adsbot-Google
Allow: /
Örnek 3
User-agent: *
Disallow: /wp-login.php
Disallow: /wp-admin/
Disallow: /wp-content/plugins/ # eklenti klasörlerindeki geri bağlantıları engeller
Disallow: /wp-includes/
Disallow: /wp-content/themes/
Disallow: /search/ # arama sorgularını engeller
Disallow: /*?s
Allow: /wp-content/uploads/

6 Replies to “Robots.txt dosyası nasıl oluşturulur?”

  • Sadri Bey Selamlar, İyi Haftalar,

    Sitemde uzun süredir index problemi yaşıyorum. Robot.txt dosyasına acaba hatalı bir kod eklemiş olabilir miyim diye endişelendim. Sizden ricam aşağıdaki link üzerinden kontrol edebilir misiniz? İndex sorunu yaşatacak bir kod var mıdır?

    http://prntscr.com/gpc2vm

    İyi Çalışmalar Dilerim,

    • Zeliha hanım sadece aşağıdaki kodları ekleyerek denermisiniz.

      User-agent: *
      Disallow: /wp-login.php
      Disallow: /wp-admin/
      Disallow: /search/
      Disallow: /*?s
      Disallow: *?replytocom

  • Sadri Bey,

    şu şekilde konsolide ettim, sizce uygun mudur?

    User-Agent: *
    Allow: /wp-content/uploads/
    Disallow: /wp-content/plugins/
    Disallow: /readme.html

    User-agent: *
    Disallow: /cgi-bin/
    Disallow: /wp-admin/
    Disallow: /wp-login.php
    Disallow: /search?
    Disallow: /*?s
    Disallow: *?replytocom
    Disallow: /wp-includes/
    Disallow: /wp-content/plugins/
    Disallow: /wp-content/themes/

    Teşekkürler,