Nouveau site contenant un sitemap.xml et delais de crawl

[oli004]

Bonjour à tous,

Le sondage concerne les pages non indexées jusque là par Google.

La réponse de Gg étant très évasive concernant le delais avant le crawl de pages mentionnées dans un sitemap, il serait intéressant de recueillir vos constations personnelles.

La quetion est de savoir combien de temps en moyenne met Gg pour crawler de nouvelles pages déclarées dans un sitemap.

Cela, à partir du moment ou celui-ci aura été téléchargé (staut downloaded).

Je ne parle pas du temps d'indexation, qui peut varier suivant les datacenters. Uniquement le crawl des pages.

 

[ehcs]

Bonjour,

Dans mon cas entre 1 et 12 heures après le download du sitemap.
Je rajouterais que Google download mon sitemap toutes les 12 heures.

 

[oli004]

Dans mon cas entre 1 et 12 heures après le download du sitemap.

Tu as bien de la chance, car j'en suis à mon troisième download de sitemap depuis la soumission, il y a quatres jours sur l'un de mes forums et toujours aucune trace de crawl.

 

[cederig]

Dans mon cas il indique 9h . Mais le premier download du fichier c'est fait 20 min après la soumission.

 

[boussole]

J'avais un site assez jeune avec juste la page d'index crawle. J'ai fait un sitemap, tout le site a ete crawle le jour meme. Alors qu'il etait dans GG depuis au moins 2 mois avec juste l'index

OliOO4 l'allier est en force :wink:

 

[oli004]

J'avais un site assez jeune avec juste la page d'index crawle. J'ai fait un sitemap, tout le site a ete crawle le jour meme. Alors qu'il etait dans GG depuis au moins 2 mois avec juste l'index

Etait-ce un site statique ou dynamique ? si oui, avec de l'UR ?

OliOO4 l'allier est en force

:wink: Ah ouaip, j'avais pas remarqué la loc de ton profil

 

[boussole]

Site statique en HTML

 

[oli004]

Toujours aucun crawl de google palgré un site map download plusieurs fois et un UR lui facilitant la tâche.

Je vais finir par croire qu'il y a un problème sur mon site, ou qu'il est purement et simplement blacklisté.

puisqu'il a été indexé (une 50 aine de pages) puis désindéxé pour ne laisser plus que la page d'accueil de mon forum.

Pensez-vous que les bots n'arrivent pas à aller plus profond ?

Bon je veux bien que le site soit ressent mais tout de même, ça n'explique pas la desindexation.

Le site en question : www.allier-nation.com/forum/index.php

 

[glubss]

Il me semblait que Google n'indexait plus les forums compte tenu des risques de débordement.

 

[Niky Bee]

Site Maps

Moi j'ai soumis le 21/06.

Le statut est Ok

Enregisté par google tous les jours

Et rien

 

[Smarties]

J'ai un peu plus de chance, j'ai place le sitemap il y a 24 heures et quelques heures apres, GG a commence un crawl de mes pages le plus profondes.

 

[oli004]

Il me semblait que Google n'indexait plus les forums compte tenu des risques de débordement.

Ah oui ?

Depuis quand et peux tu nous dire ou tu as lu ça stp, parce que ce serait une info plus qu'importante.

 

[glubss]

Ca date d'un moment, un article suite à une annonce de google annoncant son attention de ne plus référencer de site avec un forum. Je n'ai pas de forum donc je n'ai pas été plus loin et je ne sais pas si ça a été effectif.

C'est pourquoi j'ai mis "Il me semblait..."

 

[oli004]

peut etre est-ce vrai. Ou alors il faut avoir un forum complémentaire à un site principal. Je ne sais pas.

Il faudrait voir avec les webmasters de gros ou petits forums pour avoir un avis global.

 

[glubss]

Ce serait pertinent. C'est pour cette raison que je n'en ai pas.

 

[HawkEye]

Il faudrait voir avec les webmasters de gros ou petits forums pour avoir un avis global.

Webrankinfo: ~550.000 pages indexées...

 

[glubss]

Il faudrait voir avec les webmasters de gros ou petits forums pour avoir un avis global.

Webrankinfo: ~550.000 pages indexées...

Droit d'aînesse

 

[cthierry]

Ca date d'un moment, un article suite à une annonce de google annoncant son attention de ne plus référencer de site avec un forum. Je n'ai pas de forum donc je n'ai pas été plus loin et je ne sais pas si ça a été effectif.

C'est pourquoi j'ai mis "Il me semblait..."

Je ne pense pas ayant une flopée de page indexé par google et qui font parite du forum intégré de xoops.

 

[oli004]

WRI n'est ps un bon exemple, car au cas ou ous ne l'aurez pas remarqué, il y a quand même pas mal de contenu HORS du forum (voir le menu supérieur)

Là ou la question peut se poser, c'est pour le cas de forum rescents, pour des site ne contenant QUE des pages de forum !

 

[sebyrollins]

Bonjour,
doit-on en conclure que Google peut venir plusieurs fois "crawler" le site (le parcourir), mais ne pas mettre à jours ces registres ?

En fait ayant un site ou il y a de l'actu et des opérations saisonnières, j'ai mis en place une (ou un) sitemap en xml (index+categorie+20 fichiers xml). Google me rend un status OK et me l'a downloadé. De plus Google vient tous les jours (je le vois dans awstat) chercher je ne sais pas quoi.

Par contre aucun moyen de savoir si c'est traité entièrement. Je m'apercois juste que mes nouvelles pages ne sont pas indexées, ou qu'elles le sont plusieurs jours apres. Et que d'autres pages ne sont pas du tout indexées alors qu'elles devraient l'être puisque c'est du contenu distinct. Une piste ?

exemple, quand je recherche dans google ces termes :
https://www.google.fr/search?sourceid=na ... layer+2000

il devrait m'afficher en premier la page concernant ce produit avec le title et H1 avec le nom du produit ? :
http://www.oovin.com/detailvin-idvin-21 ... mat-3.html

Mais lui m'affiche des pages sattelites autour du produits
-> page "cépage syrah"
->page "domaine"

Pourquoi Google ne veut pas de ce genre de page ?

 

[oli004]

Pourquoi Google ne veut pas de ce genre de page ?

Peut être les interprete-t-il comme des pages plus pertinantes en fonction du nombre et de la qualité des éléments qu'il trouve sur les pages satelites.

 

[sebyrollins]

Peut être les interprete-t-il comme des pages plus pertinantes en fonction du nombre et de la qualité des éléments qu'il trouve sur les pages satelites.

J'ai fait justement en sorte de mettre le titre de la page dans le "title" et h1, avec un contenu unique et spécifique derrière, c'est pour ca que je trouve ca etrange q'une recherche = titre me donne comme résultats des pages sattelites ( Ou plutot le fait qu'il n'indexe pas cette page).

De plus, certaines page de même type, construit pareil, d'autres produits sont elles référencées sur la page du produit.
ex: https://www.google.fr/search?sourceid=na ... %A9galithe

Ce sont les calculs savant de google qui imposent cela ?
J'ajoute que tous les liens de ces produits sont dans le sitemap

 

[oli004]

J'ai fait justement en sorte de mettre le titre de la page dans le "title" et h1, avec un contenu unique et spécifique derrière,

C'est déja très bien, et ça evite d'avoir du dupplicate.

c'est pour ca que je trouve ca etrange q'une recherche = titre me donne comme résultats des pages sattelites ( Ou plutot le fait qu'il n'indexe pas cette page).

Une autre hypothese, cette fois, beaucoup plus terre à terre je l'avous, mais es tu sur que ces pages, que tu ne vois pas encore indexées ont bien été crawlées?

Car si d'après ton architecture de site, tu as d'autres pages similaires (dans la forme mais pas dans le contenu) il n'y a pas de raison qu'elles ne soient pas indexées.

Ce que je constate, c'est que tu as déja 11 100 pages référencées, mais un très grand nombre apparaissent via la commande site:tonsite.com sans titre ni description !
Hors, certaines sont bien renseignées avec titre et description unique.
Toutefois, peut être que vu la quantitié de pages que tu as d'indexée dans google, il est possible qu'avec une analyse d'ensemble, qu'elles se ressemblent toutes et de se fait ne soit pas mentionné le détail via la commande site:..

Ceci étant, après avoir effectué une petite recherche au hasard, je trouve que les résultats mentionnés sont très pertinents quand même. Donc, tu n'as peut être pas de raison de t'alarmer et tes pages finiront bien par être indexées.

 

[sebyrollins]

Merci pour ta réponse.

Je vais donc attendre...et voir.

C'est déja très bien, et ça evite d'avoir du dupplicate

J'en ai un peu car un produit à plusieurs contances possibles passé en argument, ce qui fait des pages avec des url différentes en plus alors que le contenu est quasi le même... je ne pense pas que ce soit un frein ? Google choisit une page sur les 2 ou 3 quasi similaires?

 

[miamiam]

Il me semblait que Google n'indexait plus les forums compte tenu des risques de débordement.

je pense que tu as raison car j'avais un site avec un forum indexé par google au debut, puis dernierement il a été completement desindexé, plus aucune page concernant le forum.......

 

[oli004]

je pense que tu as raison car j'avais un site avec un forum indexé par google au debut, puis dernierement il a été completement desindexé, plus aucune page concernant le forum.......

C'est également ce qui est arrivé à un de mes site qui etait constitué exclusivement d'un forum. D'abord indexé puis progressivement tout est sorti de l'index.
Aujourd'hui, j'ajoute du contenu autour du forum, j'ai mis un joli petit sitemap et je vais voir ce que ça donne. Mon sitemap a ete telechargé rapidement. googlebot est venu rapidement sur mon index, alors qu'il me boudait depuis plus d'un mois, mais je constate qu'il ne va pas plus loin que l'index !