robot.txt ce que je veux faire

[freetopien]

Bonjour,

Je veux un robot.txt qui fait les choses suivantes :
Autoriser seulement l'INDEXATION (pas de suivis de liens)
pour le robot Google, le robot MSN et celui de Yahoo
et exclure tout les autres robots.

User-agent: googlebot (c'est quoi le nom exact?)
*index, nofollow*

User-agent: msnbot (c'est quoi le nom exact?)
*index, nofollow*

User-agent: yahoobot (c'est quoi le nom exact?)
*index, nofollow*

User-agent: *
Disallow: /

Pouvez vous me corriger mon robot.txt SVP ?

Merci !


ps : Topic lié : https://www.webrankinfo.com/forum/viewt ... p?p=629105

 

[jeanluc]

Tu ne peux pas faire cela avec robots.txt.

Pour faire ce que tu demandes, il faut utiliser la balise META "robots" dans chaque page concernée (pour une explication de son fonctionnement, voir http://www.annuaire-info.com/robots/meta.html ).

Jean-Luc

 

[freetopien]

Pour faire ce que tu demandes, il faut utiliser la balise META "robots" dans chaque page concernée

Aie !
Justemment je voulais éviter ça... (bcp trop de pages à modifier)
Puis-je alors JUSTE :

- AUTORISER GOOGLE, MSN et YAHOO
- INTERDIRE TOUT LES AUTRES
- Ajouter des rel="nofollow" dans les liens de l'index.html

ça fera ce que je veux, non ?

Merci à toi !!

 

[serval2a]

Bonjour,
Le principe du robots.txt c'est l'interdiction et non l'autorisation (même si Google prétend prendre en compte la directive allow) tu dois donc soit interdire tous les robots soit les interdire un par un nominativement.
@+

 

[jeanluc]

Puis-je alors JUSTE :

- AUTORISER GOOGLE, MSN et YAHOO
- INTERDIRE TOUT LES AUTRES
- Ajouter des rel="nofollow" dans les liens de l'index.html

User-agent: *
Disallow: /

User-agent: Googlebot
User-agent: MSNBot
User-agent: Slurp
Disallow:

Ce robots.txt autorise Google, MSN et Yahoo et il interdit tous les autres robots.

Jean-Luc

 

[serval2a]

Bonjour jeanluc,
Comme on est toujours les seuls à répondre aux sujets relatifs aux fichiers robots.txt, je tiens à dire que je ne suis pas d'accord avec toi.
Nulle part on ne retrouve mention de Disallow : avec rien derrière comme indication d'autorisation.
On retrouve bien Allow: mais c'est une directive toujours à ce jour non conforme et non officiellement supportée par Live search.
@+

 

[jeanluc]

Si, si! :wink:

Il y a bien un Disallow: tout seul dans la spécification originale:

The Format
Disallow
Any empty value, indicates that all URLs can be retrieved.

Pour Allow:, d'accord avec toi. C'est non standard et interprété différemment par les robots qui l'acceptent. A éviter.

Jean-Luc

 

[freetopien]

User-agent: *
Disallow: /

User-agent: Googlebot
User-agent: MSNBot
User-agent: Slurp
Disallow:

Ce robots.txt autorise Google, MSN et Yahoo et il interdit tous les autres robots.

Tu voulais dire :

User-agent: *
Disallow: /

User-agent: Googlebot
User-agent: MSNBot
User-agent: Slurp
Allow:

?

Merci

 

[serval2a]

Non, non, il a effectivement raison, il faut utilise ron exemple.
@+

 

[freetopien]

ah bon ?
Voilà comment je lis le robotS.txt :

User-agent: * 
Disallow: / 

User-agent: Googlebot 
User-agent: MSNBot 
User-agent: Slurp 
Disallow:

Pour tout les robots : interdire (car disallow)
et pour googlebot, msnbot et Slurp interdit aussi (car encore disallow)

Enfin, voilà, ça me parrait normal ce que je dis...

Merci de m'expliquer.

 

[jeanluc]

Disallow: /

= interdire tout

Disallow:

= ne rien interdire

Jean-Luc

 

[freetopien]

ah je comprends mieux, merci.

Sinon je ne suis jamais sur mais le robots.txt, il ya un S à robots ou pas ???

robot.txt
ou
robots.txt

Merci !

 

[bertimus]

vivi avec un "s" à la fin :wink:

 

[freetopien]

Merci merci !