fichier robots.txt

Bonjour, j'ai quelques pages de mon e-commerce que je n'ai aucune raison d'indexer: le panier, la page de login, d'inscription, etc. Je les ai en disabled dans le robots.txt afin d'empêcher google de les parcourir et donc indexer. Est-ce que je ne devrais par plutôt les mettre en noindex dans...

User-agent: * Disallow: /wp-admin/ Disallow: /wp-content/ Allow: /wp-content/uploads/ Disallow: /cgi-bin Disallow: /wp-login.php Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /category/ Disallow: */trackback Disallow...

Bonjour à tous, Google Search Console m'indique qu'un certain nombre de ressources bloquées sont détecté sur mon site. En scrutant mon fichier robots.txt, je me suis aperçu, effectivement, que je bloqué certaines ressources. Je me suis alors renseigné sur l’intérêt de ne pas bloquer ces...

Bonjour, J'aimerais avoir des renseignements sur le fonctionnement du robots.txt, s'il vous plaît. Je souhaite que tous les moteurs indexent toutes les pages de mon site : mettre un robots.txt vide avec juste le lien vers le sitemap.xml est-il correct ou faut-il mettre : User-agent: *...

Bonjour, sur le site que j' ai créé : www.aller-en-chine.net, je souhaite que mes mentions légales ne soient pas indéxées par les moteurs de recherche. Je me documente, et je lis que la meilleure méthode est de modifier le fichier robots.txt. Je n' avais jamais touché à ce fichier, je le...

Bonjour, J'ai cherché sur GG des conseils par ci par là mais assez contradictoires (ex: JS à exclure ou pas...) D'où ma question quel serait le contenu d'un robots TXT pour un site naissant 15 pages et 3 articles Qu'est ce qui serait important d'exclure ? Merci pour votre retour.

Bonjour WRI, J'ai une petite question concernant le robots.txt et la commande : Disallow: /*? Dans le cas d'un site multilingue qui gère les pages françaises avec ?lang=fr (la version anglaise ne demande pas de variable), est-ce pertinent de garder Disallow: /*? ? Merci d'avance,

hello J'ai un fichier robots.txt configuré sur un wordpress comme ceci mais webmaster tools me dit qu'il ne peut pas explorer certaines urls à cause de cette config. hors je ne comprends pas quelle règle empêche cette indexation pouvez vous m'aider ? exemples d'urls bloquées ma home page...

Bonjour, Que signifie ce robots.txt? User-agent: * Disallow: / Allow: /$ Que seule la page d'index est autorisée? Si j'ajoute: Allow: /category/ Cela va t'il autoriser /category/catname/ ? Merci.

Bonjour, Tout d'abord désolé si la question à déjà été posée, j'ai cherché dans le forum mais je n'ai pas trouvé. Je possède un petit site internet commercial de 5 pages. Quand je tape site:www.monsite.com dans Google, il me sort 11 pages indexées. Mon problème est sur la page panier qui est...

Bonjour à tous, Je viens de friser la crise cardiaque en voyant tous mes sites en alerte sur GWT. Et cela concerne des fichiers robots que je n'ai pas touchés depuis des mois, voire années ... En fait, une ligne comme : [disallow: *nompage*] est semble-t-il interprétée comme [disallow: *] Du...

Bonjour tout le monde, J'ai une petite question concernant un site qui tourne sous Prestashop. Dans mon robots.txt, je refuse tout ce qui se trouve dans 'module' ce qui me donne : Disallow: /*modules/ Mais j'aimerai tout de même permettre à Google de prendre en compte 2 pages contenues dans...

Bonjour à tous. N'ayant rien trouvé sur ce sujet spécifique j' espère trouver une réponse sur ce lumineux forum. Sachant que Google n'aime pas trop les pages "échanges de liens" je me demandais si en mettant cette pages en disallow dans le fichier robots.txt et en mettant ces liens en...

Bonjour, étant donné que seul Google accepte la balise Noindex dans le fichier robots.txt, je souhaite donc mettre disallow pour les autres moteurs dont Bing, Yahoo... ça va donner : User-agent: Googlebot Noindex: /page1 User-agent: * Disallow: /page1 Est-ce que Google risque de traiter le...

Bonjour, fin aôut, j'ai fait une grosse moulinette : passage en https avec redirection 301 http vers https dans mon .htaccess, passage sous php5.5, gestion de la base sous PDO, version mobile en CSS, et suppression de ?phpsessid dans robots.txt ( Disallow: /*PHPSESSID ). Depuis, c'est la cata ...

Bonjour, j'aimerais vos avis sur le récent commentaire de John Mueller, sur le fait qu'il fallait éviter d'utiliser la commande noindex dans le fichier robots.txt. Sur un site il y avait plus de 2 millions de pages sans valeurs ajoutées car c'étaient des pages de recherche de produits avec...

Bonjour à Tous, Je me présente, je m'appelle Gabriel et je suis nouveau sur ce Forum. Je ne suis pas Webmaster de métier, mais le fait d'avoir créé mon entreprise m'a plongé dans ce monde que je ne connaissais pas il y a encore peux. J'espère donc poster dans la bonne section. J'ai donc crée 2...

Bonjour, Dans mon fichier robots.txt j'ai indiqué (entre autres insctructions) ceci : ... Disallow: /?villes ... Dans google je fais ceci site:plombier-depannage-fuite.com/ A partir de la page 8 il m'affiche ce genre d'url : Comment faire pour ne plus faire apparaitre ces URL dans la recherche...

Bonjour, J'ai des pages que je ne souhaite ni faire suivre par les MR, ni indexer. Je précise qu'elle n'ont pas encore été mises en ligne. Il me semble que la meilleure façon de faire est de mettre un disallow dans le fichier robots.txt pour empêcher les moteurs d'aller les crawler ? Et de...

bonjour j'ai parcouru un peut le site, et malgré l'aide de notre amis google, j'avoue que je ne suis pas sûr que ça marche, https://support.google.com/webmasters/answer/6062596?hl=fr&ref_topic=6061961 je tourne sur un cms qui "garde" trace de toutes les urls qui on existé, même si elle...