Problème de robots.txt

[Conc3pt]

bonjour,

En faisant ceci

https://www.google.fr/search?hl=fr&q=site:www.vakarm.net&btnG=Rechercher&meta=

vous devez obtenir du duplicate content sur principale des /forum/sutra et /forum/aller-a-la-page et /referant-detail

Seulement j'ai bien interdit ces url dans mon robots.txt

voir ici:

-http://www.vakarm.net/robots.txt

Pourriez vous m'expliquer pourquoi google ne prends pas en compte mon robots.txt? Du moins pour ces url la.

Mon robots.txt est il correct?

Merci d'avance

 

[zimounet]

Peut etre as-tu as mis en place le robots.txt apres que google soit passé?

 

[Conc3pt]

Des que j'ai fait l'url rewriting yavait le robots.txt

Pour aller-a-la-page et referant-detail j'ai ajouté qu'apres.

Par contre pour sutra ca y était d'origine :?

 

[Conc3pt]

Pas de reponses parce que la en plus ca devient critique je suis passé de 700 pages référencées à 11400... alors du duplicate yen pas mal et je préférerai éviter le blacklistage:/

Merci d'avance!

 

[jeanluc]

Bonjour Conc3pt,

Google donne 11400 résultats sur "Recherche Web", mais seulement 281 sur "Pages en français". Cela peut vouloir dire qu'il connaît l'existence de 11400 adresses de ton site, mais qu'il n'en visite que 281, car ton robots.txt lui interdit de visiter les autres.

robots.txt interdit de visiter les pages. Il n'interdit pas de lister les adresses de ces pages dans les résultats des recherches.

C'est dans les 281 "pages en français" que tu dois vérifier s'il tient compte de ton robots.txt ou pas (parce que, pour savoir qu'une page est en français, il faut qu'il la visite).

Jean-Luc

 

[HawkEye]

essaye en ajoutant un espace avant le *

essaye aussi en t'assurant que la dernière ligne est vide

 

[Jeff-44]

bonjour
je reviens sur la technique de jeanluc, à savoir de regarder les "pages en français". J'ai essayé pour un de mes sites où j'ai beaucoup de duplicate content. Sur le général il m'indique plus de 9000 pages et sur "pages en français" environ 400 (plus de duplicate).
A quoi est due cette différence ???

 

[Maze12]

moi je te conseille d'aller sur cette page de t'ouvrir un compte et de donner ton robots.txt a la page fais pour ca et t'enleveras les liens que tu veux plus en +/- une semaine.
Je l'ai fais recement pour mon site et ca a marcher niquel

 

[Jeff-44]

Bonjour Maze 12, j'ai pas bien compris ta réponse ????

 

[Maze12]

oups j'ai oublier l'url

http://services.google.com:8882/urlcons ... uestStatus

 

[Jeff-44]

oko merci

 

[Conc3pt]

ah merci super bien ca

 

[u21296]

Marrant, moi c'est l'linverse, j'ai plus de pages en fr qu'en web ..
tjrs pas compris pq ..
si quelqu'un a une réponse -> https://www.webrankinfo.com/forum/t/google-ne-mindex-plus-de-nouvelles-pages.36663/

 

[Conc3pt]

LoL bah moi j'ai pas compris non plus maintenant je suis a 13500 en web et 271 en fr loool

Google craque son slip completement :lol: