WordPress robots.txt dosyası hazırlama

Robots.txt ayarları çok önemlidir. Arama sonuçları kısmında siteniz. com/feed, site. com/ page gibi arama motorları tarafından kopya gibi algılanabilecek kısımlar olur.(Kopya demeyelimde bunlar ana yazılarınızı vurgulamanızı kısıtlar. Onları da engelleyip indexleriniz arasına katmamalısınız.) Blog demişsiniz ben wordpress olduğunu varsayarak kendi robots.txt mi veriyorum size.

WordPress robots.txt örneği

# Google Image
User-agent: Googlebot-Image
Allow: /

# Google AdSense
User-agent: Mediapartners-Google*
Allow: /

# Google Adsbot
User-agent: Adsbot-Google
Allow: /

# digg mirror
User-agent: duggmirror
Disallow: /

# Archive
User-agent: ia_archiver
Disallow: /

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /*?
Disallow: /xmlrpc.php
Allow: /wp-content/uploads/
Disallow: /page/*
Disallow: /etiket/*/page
Disallow: /etiket/*/page/
Disallow: /etiket/*/page/*
Disallow: /etiket/*/page/*/
Disallow: /kategori/*/page
Disallow: /kategori/*/page/
Disallow: /kategori/*/page/*
Disallow: /kategori/*/page/*/

Üsttekine benzer kendi sitenize özel oluşturursunuz.(Ben garantici adamım. Biraz agrasiftir ama üstteki robots.txt sağlamdır 🙂 Mesela */page demişsek */page/ demeye gerek yok aslen ama ben birkaç sıkıntı yaşadım ondan ekledim. Ekleyin sizde garanti olsun) Sitemapı ben buraya eklemedim zaten webmaster tools’ tan ekli. Bu oradan ekli değilse ve farklı hedef arama motorları varsa onlara yol gösteriyor.
Yani siz isterseniz şunuda robots.txt dosyasında en alta eklersiniz;
Sitemap: http://….

Sorunuz olursa burdan iletirseniz elden geldiğince yardımcı olmaya çalışırız.

{ 13 yorum var… add one }
  • Yunus Emre KARTAL 06 Kasım 2013, 14:07

    Bu robot.txt dosyası bir film sitesi için uygunmudur ?

    • cryptosam 08 Kasım 2013, 00:48

      Disallow: /etiket/*/page
      kısmından altını kendi sitenize göre oluşturacaksınız. İsterseniz etiket satırının üstü tüm wordpress siteler için kullanılabilir.

  • Serkan 11 Kasım 2013, 10:26

    Merhaba Hocam size sormak istediğim farklı bir konu var araştırdım yalnız bir türlü bulamadım. webcache olayını bilirsiniz. En son ne zaman indexlendiğinizi gösteren bir google aracı. Ben 1 hafta önce indexlenmiştim yalnız nasıl olduysa beni 12 önceki index aldığım güne dönderdi nedendir acaba?

    • cryptosam 11 Kasım 2013, 19:17

      Bu kadar takıntı yapmayın bu web cache vs olaylarına. İçeriğinizi girmeye bakın derim .

  • ahmet 15 Aralık 2013, 10:45

    bu şekilde Disallow: /etiket/*/page

    olunca etiketlerin indexlenmesini engellemiş olmuyor muyuz acaba ?

    • cryptosam 15 Aralık 2013, 20:40

      Hayır engellenmiyor. Etiketleri sayfalayınca page kısımlarını indexleme demek istiyorsun botlara orda. Yapıya göre özelleştirmek gerek.
      /tag/*/page
      vs gibi.

  • unal 03 Ocak 2014, 11:11

    merhabalar.
    benim sitede robot.txt yok :S yada ben bulamadım. yardımcı olurmusunuz robot dosyası nerede olur site panelımde ve yok ise olusturup nereye atmalıyım dosyayı wordprees kullanıyorum bu arada.

    • cryptosam 20 Mayıs 2014, 23:38

      ana dizinde sitenoktacom/robots.txt de olur. Yoksa manuel oluşturursunuz orada.

  • secmasterz 08 Mart 2014, 03:45

    sitenizi kelime bazlı bir konu araştırıken gördüm ve yazılarınız gerçekten özgün ve yararlı bilgiler aktarıyorsunuz.Güzel bir kaynak olarak sitenizi takipteyim.Teşekkürler.

    • cryptosam 20 Mayıs 2014, 23:39

      Teşekkürler görüşünüz için.

  • ertan 19 Mayıs 2014, 20:57

    Bu robots.txt dosyasını attığımızda daha önceki indexlenen konuları kapsar mı yoksa bundan sonrakiler için mi geçerli. Birde benim attığım video resimleri yaıdan önce çıkıyor oda saçma biryeri açıyor. bunu nasıl engellerim acaba?
    cevap verirseniz çok sevinirim.

    • cryptosam 20 Mayıs 2014, 23:40

      Daha önce değil tüm konuları kapsar. Bunu kendi sitenize göre ayarlayıp atmalısınız. Video resimleri olayı eğerki etiket ise sitemap ayarlarından etiketin değerini azaltmalısınız. Yani yazılar 0.9 ise etiketler 0.9 dan alt değer olmalı. Muhtemelen sizde üstte etiketler çıkıyor ve sorun bu.

  • ilhami karakoc 05 Nisan 2016, 12:14

    hocam ben bunu direk kullansam sorun olmaz demi.. ekleme yapcagim bir yer varsa sölermisin

Yazıya Yorum Yapın