Robots.txt qui fait des erreurs apache

cbroissa · 7 Septembre 2006

Salut,

J'ai plein d'erreur dans le log apache, de moteur de recherche (je suppose) qui essaye d'accéder à robots.txt, mais il n'existe pas car j'utilise directement la balise meta.

Comment faire pour éviter ces erreurs ? il faut créer un robots.txt vide ?

Merci

sonikbuzz · 7 Septembre 2006

Tu peux désactiver ce type d'erreur avec apache (je crois).
Autrement robots.txt de ce style fera l'affaire.

Code:

# Welcome googlebot visitor (message facultatif  :lol: )

User-agent: *
Disallow:

[/quote]

sgaze · 7 Septembre 2006

Sauf qu'avec le robots.txt proposé par sonikbuzz, tu vas indiquer à tous les robots que le site ne doit pas être indexé !! A mon avis c'est pas ce que tu recherches.

sonikbuzz · 7 Septembre 2006

sgaze a dit:
Sauf qu'avec le robots.txt proposé par sonikbuzz, tu vas indiquer à tous les robots que le site ne doit pas être indexé !! A mon avis c'est pas ce que tu recherches.

Non non non, le robots.txt de sonikbuzz autorise tous les bots a tous les repertoires . si je devais interdire tous les repertoires j'ecrirais :

Code:

User-agent: *
Disallow:/

-http://www.yooda.com/outils_referencement/robots_txt.php?SITE=www.noogle.fr&valid=Ok

sgaze · 8 Septembre 2006

Tu as raison sonikbuzz, sorry...

cbroissa · 11 Septembre 2006

merci mais comment les moteurs vont réagir quand ils verront un robots.txt et une balise meta, ils vont choisir lequel, la somme des 2, l'un ou l'autre ?

mon site est dynamique et je choisis donc page par page ce que le moteur pourra faire (index, noindex, follow, nofollow),
et là avec un robots.txt j'ai pas envie de leur dire qu'ils peuvent tout faire.

Merci