Hello, je veux valider mon robots.txt mais je ne trouve aucun outil qui fasse ça correctement. Quelqu'un aurait-il un lien vers une appli en ligne qui marche ?
-http://www.specialchem4cosmetics.com/robots.txt
L'idée est de bloquer uniquement les pages contenant des paramètres et pas les pages sans paramètres. c'est valide ce genre de lignes :
?
-http://www.specialchem4cosmetics.com/robots.txt
L'idée est de bloquer uniquement les pages contenant des paramètres et pas les pages sans paramètres. c'est valide ce genre de lignes :
Code:
Disallow: /markets/skin-care/news.aspx?