WordPress Robots.txt Dosyası Hazırlama

Robots.txt ayarları çok önemlidir. Arama sonuçları kısmında siteniz. com/feed, site. com/ page gibi arama motorları tarafından kopya gibi algılanabilecek kısımlar olur.(Kopya demeyelimde bunlar ana yazılarınızı vurgulamanızı kısıtlar. Onları da engelleyip indexleriniz arasına katmamalısınız.) Blog demişsiniz ben wordpress olduğunu varsayarak kendi robots.txt mi veriyorum size.

WordPress robots.txt örneği

# Google Image
User-agent: Googlebot-Image
Allow: /

# Google AdSense
User-agent: Mediapartners-Google*
Allow: /

# Google Adsbot
User-agent: Adsbot-Google
Allow: /

# digg mirror
User-agent: duggmirror
Disallow: /

# Archive
User-agent: ia_archiver
Disallow: /

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /*?
Disallow: /xmlrpc.php
Allow: /wp-content/uploads/
Disallow: /page/*
Disallow: /etiket/*/page
Disallow: /etiket/*/page/
Disallow: /etiket/*/page/*
Disallow: /etiket/*/page/*/
Disallow: /kategori/*/page
Disallow: /kategori/*/page/
Disallow: /kategori/*/page/*
Disallow: /kategori/*/page/*/

Üsttekine benzer kendi sitenize özel oluşturursunuz.(Ben garantici adamım. Biraz agrasiftir ama üstteki robots.txt sağlamdır 🙂 Mesela */page demişsek */page/ demeye gerek yok aslen ama ben birkaç sıkıntı yaşadım ondan ekledim. Ekleyin sizde garanti olsun) Sitemapı ben buraya eklemedim zaten webmaster tools’ tan ekli. Bu oradan ekli değilse ve farklı hedef arama motorları varsa onlara yol gösteriyor.
Yani siz isterseniz şunuda robots.txt dosyasında en alta eklersiniz;
Sitemap: http://….

Sorunuz olursa burdan iletirseniz elden geldiğince yardımcı olmaya çalışırız.