Bonjour,
Dans le cadre de l'optimisation aux accès sur mes sites, voilà mon fichier robots.txt
Est-ce que ce robots.txt est bien sensé ne pas permettre l'accès à tous les robots sauf ceux dans la liste ?
Dans le cadre de l'optimisation aux accès sur mes sites, voilà mon fichier robots.txt
Code:
# debut filtrage
User-agent: *
Disallow: /
User-agent: Googlebot
User-agent: Mediapartners-Google
User-agent: Googlebot-Mobile
User-agent: googlebot-Image
User-agent: ng
User-agent: exabot
User-agent: msnbot
User-agent: Teoma
User-agent: voila
User-agent: Slurp
Disallow: /apropos
Disallow: /contact
Disallow: /soumission*
Disallow: /confirmation*
# fin filtrage
Disallow: /*.pdf
Disallow: /*.doc