Petit problème avec robots.txt et outil des webmasters

[Kosmeo]

Bonjour,

J'ai un petit soucis avec mon robots.txt.

Il se trouve en effet que j'ai certaines balises title manquantes, en double, etc. du fait que Prestashop (que j'utilise, donc), présente certaines limites en la matière.

Par exemple, ma page "informations" n'a pas de title. J'ai donc mis dans robots.txt : Noindex: http://www.kosmeopolis.com/content/category/4-informations

J'ai également demandé à Google de supprimer la page de l'index et du cache. Tout a fonctionné pendant une semaine mais j'ai à nouveau les erreurs dans outils des webmasters > améliorations HTML.

Je suppose que cela vient de "nonindex" qui n'est pas bon et j'en arrive donc à ma question : dois-je mettre "Disallow" ? Cela fonctionne-t-il pour une page ?

Merci d'avance !

P.s : si quelqu'un peut m'expliquer ce que signifie l'étoile dans Disallow: /*controller=addresses cela m'aiderait également

 

[jeanluc]

Bonjour,

Je confirme qu'on n'utilise pas "noindex" dans robots.txt. Tu peux utiliser:

Disallow: /content/category/4-informations

Ainsi les robots ne visiteront plus la page, mais cela ne provoquera pas directement la désindexation.

Que la page n'ait pas de titre ne me semble pas être une bonne raison pas pour vouloir la désindexer.

Jean-Luc

 

[loubet]

surtout que la page a bien un titre.

 

[Kosmeo]

Bonjour et merci.

En fait c'est une catégorie qui ne fait rien d'autre que contenir des pages ^^

J'aimerais également désindexer des pages n°2 de catégories (exemple : meilleures ventes page 2)

Mon objectif est d'avoir moins de pages indexées mais celles qui le sont le soient bien.

Je peux donc faire disallow pour une seule page en particulier ? Puis-je mettre l'URL ou bien dois-je obligatoirement mettre /content/xxxx ou encore /31-rouge-a-levres-x

 

[Furtif]

Je peux donc faire disallow pour une seule page en particulier ? Puis-je mettre l'URL ou bien dois-je obligatoirement mettre /content/xxxx ou encore /31-rouge-a-levres-x

Aide toi et le dieu gogole t'aidera : http://robots-txt.com/

Si tu veux desindexer des pages, passe par GWT, il suffit d'indiquer a Gogole ce que tu veux virer de son index.
Optimisation -> URL à supprimer » puis cliquer sur le bouton « Nouvelle demande de suppression ».
https://support.google.com/webmasters/answer/1663691?hl=fr

:mrgreen:

 

[Doubrovski]

C'est quand même mieux d'utiliser une balise meta noindex sur les pages avec une condition PHP "si la page a un paramètre numérique alors afficher balise meta noindex".
Le robot.txt ne fait que bloquer l'accès des pages aux robots et ne permet pas de désindexer en principe.

 

[Furtif]

Le robot.txt ne fait que bloquer l'accès des pages aux robots et ne permet pas de désindexer en principe.

Robots.tx permet d'eviter l'indexation, donc de prendre le probleme au depart. Pas d'indexation = pas besoin de desindexer.

Pour desindexer = GWT

:mrgreen:

 

[UsagiYojimbo]

Je confirme qu'on n'utilise pas "noindex" dans robots.txt.

Je confirme le contraire : http://robots-txt.com/ressources/robots-txt-noindex/

 

[WebRankInfo]

moi aussi, après des tests en 2013, je confirme que Google gère le noindex dans le robots.txt même si aucune aide en ligne n'en parle

 

[Kosmeo]

Bonjour,

étrange car j'ai bien mis nonindex, j'ai tout supprimé via l'outil de suppression manuel et cela a tenu... 1 semaine !!

 

[webac]

attention c'est noindex et non nonindex

 

[jeanluc]

J'ai appris quelque chose de neuf avec ce noindex non-standard mais qui marche avec Google. :wink:

Tu utilises

Noindex: http://www.kosmeopolis.com/content/category/4-informations

Dans les liens indiqués dans les autres messages, c'est comme ceci:

Noindex: /content/category/4-informations

Jean-Luc

 

[Kosmeo]

Heu, oui webac j'ai bien mis noindex.

Donc, en résumé : je ne mets pas http://www.kosmeopolis.com/xxx mais /xxx c'est bien cela ?

Exemples concrets :

/meilleures-ventes?p=2
ou
/content/2-mentions-legales
ou encore
/3-ongles?p=2

Ais-je bien compris ?

 

[Geo2frey]

Tu as bien compris. Ne rentre pas ton NDD dans ton robots.txt.

 

[Kosmeo]

OK, merci !!