A propos du robots.txt et sitemap

[IVIedia]

Bonjour à tous,

je possède un site internet, sur certain mot clé j’étaie dans les premier, maintenant que je teste je le suis pas

j'essaye de comprendre encore pourquoi ...

ma question es celle-çi

j'ai une tonne de page que j'aimerai supprimer de l'indexation de google

mon fichier robots.txt et le suivant

User-agent: *
Allow: /

User-agent: Googlebot
Disallow: /coco-1
Disallow: /bobo-2
...
Allow: /


içi on comprends que google va pas prendre la page coco-1 et bobo-2

le site est en multilingue j'ai plus au moins 50 pages traduits en néerlandais mais je veux pas que google l'index avec cela je peux empeche l'indexation

User-agent: Googlebot
Disallow: /coco-1
Disallow: /bobo-2
Disallow: /nl
Disallow: /nl/
...
Allow: /

ou je dois faire un part un pour tout les pages

Disallow: /nl/coco-1
Disallow: /nl/coco-2

etc.

Deuxième question le fichier sitemaps si je l'optimise bien
il affichera juste les pages que je veux que ça s'affiche n'est ce pas?

 

[WebRankInfo]

la directive Allow ne sert à rien, sauf pour des cas bien particuliers
si tu veux interdire l'accès à tout un répertoire (/nl/ par exemple), tu peux faire Disallow: /nl/
par contre ça bloque le crawl, et non pas l'indexation

si les pages sont déjà indexées, tu peux les faire désindexer en :
1- interdisant le crawl du répertoire
2- puis en demandant la désindexation via GWT

concernant l'autre question, je te conseille de bien lire mon tuto fichier sitemaps
tu verras que Google ne se limite pas à crawler (et encore moins indexer) ce qui est indiqué dans le sitemap

 

[IVIedia]

Merci pour votre réponses

comme je disais en haut, sur certain mot clé j’étaie dans les premiers et plus maintenant

lorsque je me connecte a google webmaster tool

il m'indique ça -http://www.sitenet.be Googlebot ne peut pas accéder à votre site.

ça veux dire quoi?

pensez vous que a cause de ce message je ne suis pas dans les premiers ?

j'ai vu votre tuto, en faite j'utilise wordpress et j'utilise le plugins xml-sitemap generator

pensez vous que si je l'optimise c'est suffisant, ou c'est meilleur de faire sois même avec un fichier text ...
merci

 

[IVIedia]

Quand je clique l'info on me donne ça

Au cours des 24 dernières heures, Googlebot a rencontré 2 erreurs en tentant d'accéder au fichier robots.txt. Pour éviter d'explorer les pages répertoriées dans ce fichier, nous avons reporté notre exploration. Le taux d'erreurs liées au fichier robots.txt à l'échelle de votre site est de 100.0 %.

Vous trouverez davantage d'informations détaillées sur ces erreurs dans les Outils pour les webmasters.

Pensez vous que ce format pour le robots.txt et mauvais

User-agent: *
Allow: /

User-agent: Googlebot
Disallow: /coco
Disallow: /bobo
Disallow: /toto
Disallow: /lolo
Disallow: /nono
Disallow: /body-auto
Allow: /