Noindex+disallow, Google m'indexe coûte que coûte !

[milkiway]

Bonjour,

Il suffit que je parte en vacances pour revenir et constater que Google fait de la résistance à mes tentatives de non indexation.

Cas clinique :

<meta name="robots" content="noindex,nofollow" />

sur chaque pages + la ligne disallow qui va bien dans le robots.txt confirmé par Google WT (comme non indexable).

Et la commande site:URL_du_site_non_indexable ... me renvoie 533 résultats sur ce site que je ne veux pas indexer
Merveilleux non ?

Dès lors, comment vérifier si cette indexation non désirée provoque du DC sur mon site ? Une commande spécifique ?

Pour rappel, il s'agit des versions classiques et mobiles du site. D'ailleurs quel est le DOCTYPE xHTML mobile ?

Merci, en tout cas c'est intéressant de constater que noindex seul n'avait servi à rien, que la ligne disallow dans le robots.txt avait éradiqué toute trace du site pendant trois semaines et que deux semaines plus tard tout est indexé :mrgreen:

 

[WebRankInfo]

je n'ai pas trop le temps de lire les détails tout de suite, mais si tu interdis le crawl via le robots.txt, le robot ne peut pas constater que tu interdis l'indexation.
il suffit alors qu'il ait indexé préalablement tes pages pour arriver dans ce genre de situation paradoxale

au fait, tu peux aussi tester d'aiguiller chaque type de crawler (mobile ou pas) vers la bonne version du site (mobile ou pas)

 

[milkiway]

je n'ai pas trop le temps de lire les détails tout de suite, mais si tu interdis le crawl via le robots.txt, le robot ne peut pas constater que tu interdis l'indexation.
il suffit alors qu'il ait indexé préalablement tes pages pour arriver dans ce genre de situation paradoxale

Ah! Ce serait là l'explication. Je vais creuser ça je mettrai ici le résultat.

au fait, tu peux aussi tester d'aiguiller chaque type de crawler (mobile ou pas) vers la bonne version du site (mobile ou pas)

Oui mais voyant que l'index m.google.fr et la version normale ne diffère pas, est-ce vraiment utile ?

Merci pour ton intervention.

 

[WebRankInfo]

Il y a bien un index différent constitué par le crawl de Googlebot-mobile. Cela dit, si la plupart des sites laissent crawler leur version "classique" par Googlebot mobile, il est clair que l'index mobile peut être proche de l'index "classique".
Enfin je ne m'aventure pas plus loin car je n'ai pas assez testé.

 

[milkiway]

D'après mes recherches et tests, il y a bien un bot Google Mobile, il y a bien un index Google Mobile mais dans les deux cas, sauf erreur de ma part, "Mobile" renvoie aux vieux GSM avec mini écran et navigation au clavier téléphonique. Tout sauf un Smartphone.

PC : https://www.google.fr/search?q=r%C3%A9f%C3%A9rencement&ie=utf-8&oe=utf- ... =firefox-a
Smartphone : https://www.google.fr/m/search?q=r%C3%A9f%C3%A9rencement&aq=f&oq=&aqi=g ... 2a1f91602c

Après tout c'est logique.
Indexer mon site Smartphone par un bot qui recueille des données pour des téléphones archaïques incapables de l'afficher me parait contre productif.