Robots.txt ayarları çok önemlidir. Arama sonuçları kısmında siteniz. com/feed, site. com/ page gibi arama motorları tarafından kopya gibi algılanabilecek kısımlar olur.(Kopya demeyelimde bunlar ana yazılarınızı vurgulamanızı kısıtlar. Onları da engelleyip indexleriniz arasına katmamalısınız.) Blog demişsiniz ben wordpress olduğunu varsayarak kendi robots.txt mi veriyorum size.
WordPress robots.txt örneği
# Google Image User-agent: Googlebot-Image Allow: / # Google AdSense User-agent: Mediapartners-Google* Allow: / # Google Adsbot User-agent: Adsbot-Google Allow: / # digg mirror User-agent: duggmirror Disallow: / # Archive User-agent: ia_archiver Disallow: / User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /trackback/ Disallow: /feed/ Disallow: /comments/ Disallow: */trackback/ Disallow: */feed/ Disallow: */comments/ Disallow: /*? Disallow: /xmlrpc.php Allow: /wp-content/uploads/ Disallow: /page/* Disallow: /etiket/*/page Disallow: /etiket/*/page/ Disallow: /etiket/*/page/* Disallow: /etiket/*/page/*/ Disallow: /kategori/*/page Disallow: /kategori/*/page/ Disallow: /kategori/*/page/* Disallow: /kategori/*/page/*/
Üsttekine benzer kendi sitenize özel oluşturursunuz.(Ben garantici adamım. Biraz agrasiftir ama üstteki robots.txt sağlamdır 🙂 Mesela */page demişsek */page/ demeye gerek yok aslen ama ben birkaç sıkıntı yaşadım ondan ekledim. Ekleyin sizde garanti olsun) Sitemapı ben buraya eklemedim zaten webmaster tools’ tan ekli. Bu oradan ekli değilse ve farklı hedef arama motorları varsa onlara yol gösteriyor.
Yani siz isterseniz şunuda robots.txt dosyasında en alta eklersiniz;
Sitemap: http://….
Sorunuz olursa burdan iletirseniz elden geldiğince yardımcı olmaya çalışırız.
Hakan Yerlikaya
Cryptosam içerik paylaşmıyorsun artık?
cryptosam
En yakın zamanda yeni içerikler geliyor. Geçmiş içerikleri düzenleyip güncellemeye çalışıyorum şu sıralar.
ilhami karakoc
hocam ben bunu direk kullansam sorun olmaz demi.. ekleme yapcagim bir yer varsa sölermisin
ertan
Bu robots.txt dosyasını attığımızda daha önceki indexlenen konuları kapsar mı yoksa bundan sonrakiler için mi geçerli. Birde benim attığım video resimleri yaıdan önce çıkıyor oda saçma biryeri açıyor. bunu nasıl engellerim acaba?
cevap verirseniz çok sevinirim.
cryptosam
Daha önce değil tüm konuları kapsar. Bunu kendi sitenize göre ayarlayıp atmalısınız. Video resimleri olayı eğerki etiket ise sitemap ayarlarından etiketin değerini azaltmalısınız. Yani yazılar 0.9 ise etiketler 0.9 dan alt değer olmalı. Muhtemelen sizde üstte etiketler çıkıyor ve sorun bu.