Bonjour à tous,
Une étude de cas que j'aimerais vous soumettre :
Je suis tombé sur le site http://www.aujourdhui-en-france.fr/ et je viens de remarquer sur le fichier robots.txt que l'ensemble des pages sont bloquées des moteurs de recherche.
http://www.aujourdhui-en-france.fr/robots.txt
User-agent: *
Disallow: /
Savez-vous s'il s'agit simplement d'une (grosse) erreur de la part du webmaster ou d'une stratégie de leur part (en sachant qu'aujourd'hui en france appartient au Parisien et que leurs articles pourraient se retrouver en duplicate s'ils reprennent les mêmes sujets que sur le site Le Parisien) ?
D'avance, merci de vos retours.
Une étude de cas que j'aimerais vous soumettre :
Je suis tombé sur le site http://www.aujourdhui-en-france.fr/ et je viens de remarquer sur le fichier robots.txt que l'ensemble des pages sont bloquées des moteurs de recherche.
http://www.aujourdhui-en-france.fr/robots.txt
User-agent: *
Disallow: /
Savez-vous s'il s'agit simplement d'une (grosse) erreur de la part du webmaster ou d'une stratégie de leur part (en sachant qu'aujourd'hui en france appartient au Parisien et que leurs articles pourraient se retrouver en duplicate s'ils reprennent les mêmes sujets que sur le site Le Parisien) ?
D'avance, merci de vos retours.