Aide sur le format de mon fichier robots.txt

[poupilou]

Salut à tous,

J'ai une fichier robots.txt à la racine de mon site et je voudrais savoir si ce que j'ai mis dedans est correct :

User-agent: AlphaSeoBot
User-agent: serpstatbot
Disallow: /
User-agent: Googlebot
Disallow: /scripts/recherche.php
Disallow: /scripts/ajax/ajaxFiltresCatalogue.php
User-agent: *
User-agent: Mediapartners-Google
Allow: /

Je voudrais interdire le crawl de tout mon site aux user-agent AlphaSeoBot et serpstatbot et interdire le crawl à User-agent: Googlebot uniquement de mes urls du type /scripts/recherche.php et /scripts/ajax/ajaxFiltresCatalogue.php, est-ce que le code ci-dessus est correct ?

Faut-il mettre quelque chose à la fin de mes urls Disallow: /scripts/ajax/ajaxFiltresCatalogue.php dans le fichier robots.txt car elles peuvent avoir des variables, du type /scripts/ajax/ajaxFiltresCatalogue.php?id=56989 ?

D'autre part, le User-agent: Mediapartners-Google est autorisé à crawler mon site, Est-ce correct ?

Merci pour vos réponses.

 

[ABCWEB]

Perso j'aurai fait ça.

User-agent: AlphaSeoBot
Disallow: /
User-agent: serpstatbot
Disallow: /
User-agent: Googlebot
Disallow: /scripts/recherche.php
Disallow: /scripts/ajax/ajaxFiltresCatalogue.php

 

[rick38]

Les trois dernières lignes ne servent à rien. (du robots.txt du 1er message)

 

[poupilou]

Merci pour vos réponses.

Je diffuse des pubs adsense sur mon site web et sur ce site ils disent :

Pour empêcher l'exploration et l'indexation des pages de votre site tout en continuant à afficher des annonces Google AdSense sur ces pages :

User-agent: Googlebot
Disallow: /

User-agent: Mediapartners-Google
Disallow:

Donc le code complet de mon fichier robots.txt serait :

User-agent: AlphaSeoBot
User-agent: serpstatbot
Disallow: /
User-agent: Googlebot
Disallow: /scripts/recherche.php
Disallow: /scripts/ajax/ajaxFiltresCatalogue.php
User-agent: Mediapartners-Google
Disallow:

Est-ce correct ?

Avec ce code ci-dessus, est-ce qu'une url du type /scripts/ajax/ajaxFiltresCatalogue.php?id=56985 est bien bloquée du crawl pour Googlebot ?

 

[ABCWEB]

User-agent: AlphaSeoBot
Disallow: *
User-agent: serpstatbot
Disallow: *
User-agent: Googlebot
Disallow: /scripts/recherche.php
Disallow: /scripts/ajax/ajaxFiltresCatalogue.php
User-agent: Mediapartners-Google
Disallow: *

 

[WebRankInfo]

s'il n'y a aucune section qui cible tous les user agent, alors Mediapartners-Google n'est pas concerné, donc ça ne sert à rien de rajouter une section pour lui. Si tu veux vraiment le faire, autant le faire avec un Allow: /

en faisant une section qui cible spécialement Googlebot, attention car plus tard s'il y a aussi une section User-agent * alors Googlebot ne sera pas concerné

 

[poupilou]

User-agent: AlphaSeoBot Disallow: * User-agent: serpstatbot Disallow: * User-agent: Googlebot Disallow: /scripts/recherche.php Disallow: /scripts/ajax/ajaxFiltresCatalogue.php User-agent: Mediapartners-Google Disallow: *

Pourquoi tu mets des * au lieu d'un / après Disallow: ?