Noindex dans le fichier robots.txt ?

[Peroliv]

Vu dans le fichier robots.txt d'une grosse société de formations en web :

User-agent: *
Allow: /
Disallow: /prive/
Noindex: /prive/

J'ai raté un truc, ou ils font n'importe quoi ?

 

[baud74]

non
http://robots-txt.com/ressources/robots-txt-noindex/

 

[Peroliv]

Ok, je viens de faire gagner 10% de productivité à mes devs.

Merci !

 

[Peroliv]

Je remarque que Google ne le mentionne pas dans sa doc officielle

Quelqu'un a-t-il fait un test concluant ?

 

[zeb]

Ok, je viens de faire gagner 10% de productivité à mes devs.

Pas vraiment, une directive précise dans une page est souvent mieux suivie / interprétée qu'un robots.txt.

edit > bon après si il leur faut 10% de leur temps pour pondre une condition dans un template vire les ça te fera gagner plus de 10% de productivité.

 

[WebRankInfo]

Quelqu'un a-t-il fait un test concluant ?

Oui, moi j'ai publié un dossier avec un test sur le noindex dans robots.txt ;-)

 

[Peroliv]

Quelqu'un a-t-il fait un test concluant ?

Oui, moi j'ai publié un dossier avec un test sur le noindex dans robots.txt ;-)

Mince, mais c'est parfait ! Pourquoi je l'ai pas trouvé tout seul ?

Je fais quand même le pointilleux : attention à prévenir que la désindexation par les Webmaster Tools ne dure que 90 jours (et est annulable). Google risque de remettre l'URL si il n'est pas réellement désindexé ou supprimé.

Cf. la doc.

 

[WebRankInfo]

quand tu demandes une désindexation via GWT, c'est en général pour accélérer les choses, et tu as forcément déjà mis en place une demande de désindexation (en général un meta robots noindex).
tu qu'il n'y a pas de raison de virer cette meta, il y a vraiment très peu de risque que la page soit à nouveau indexée plus tard

 

[web proxy]

moi j'ai fais le code suivant dans le fichier robots.txt

User-agent: *
Disallow: /browse.php
Noindex: /browse.php
et il y a plus que 15jours mais j'ai toujours les pages /browse.php indexées

 

[HawkEye]

Enlève le Disallow, et ne garde que le Noindex

 

[web proxy]

oui je l'ai fait, ça doit prendre du temps?

 

[noren]

Si tu es pressé, le mieux est de demander à la désindexer dans le WGT. En laissant bien sur le robot.txt avec le noindex

 

[web proxy]

le cas de GWT permet le noindex que page par page
j'ai fait un Noindex: /browse.php* dans le fichier robots.txt pour toutes les pages avec parametres

 

[Peroliv]

le cas de GWT permet le noindex que page par page

et par répertoire (voire site complet)

 

[LENOBLE]

J'ai remarqué qu'il indexe quand même la page avec une desc précisant que le robot.txt ne permet pas de l'afficher......
Est ce temporaire ?

 

[web proxy]

et par répertoire (voire site complet)

oui c'est claire mais j'ai pas besoin de NOINDEXER mon site

 

[Peroliv]

et par répertoire (voire site complet)

oui c'est claire mais j'ai pas besoin de NOINDEXER mon site

T'as pas des clients qui trainent pour payer leurs factures de ref ? :twisted:

"M. le client, je vous propose un tour de magie. Votre site va disparaitre de Google, et réapparaitra d'un coup dès que je reçois votre chèque. Magie, magie !" :lol:

(c'est assez rapide à désindexer + à rétablir)