Comment se comporte GGbot chez vous?

yannouk · 10 Décembre 2003

Je pense qu'il serait interressant de savoir si googlebot se comporte a peu pres de la meme maniere chez tlm ou pas.

Pour ma part, il passe sur l'index a peu pres 1 fois par jour, et repart aussitot

Les nouvelles pages ne sont indexées a peu pres qu'une fois par mois, lors d'un deepcrawl apres la ggdance
et vous?

DAVID86 · 10 Décembre 2003

le deep crawl commence ces jours ci... ouf. environ 100 pages par jour
Romain

snakeface · 10 Décembre 2003

Yes yannouk, moi aussi c'est deep crawl après ggdance !
Indexation je ne sais pas encore quand il va la faire! 8O

Après le fullcrawl plus de visites pour l'instant! (ça fait 3 jours)

J'attends d'apparaitre sur l'index :lol:

sdamain · 10 Décembre 2003

Pour moi aussi. 196 assages pour 15 pages :?

France-spiderman · 10 Décembre 2003

Chez moi alors qu'il venait tous les jours, ggbot ne vient plus depuis 8-10 jours et ça m'inquiète. Même plus sur ma page d'accueil...
Bizarre. Il doit avoir trop de boulot en ce moment avec les fêtes.... lol

MagiX · 10 Décembre 2003

Soit j'ai rien compris (c'est + que possible ;-) ) soit... Je ne puis participer a ce genre de discutions vu que je n'ai pas de php et demeure tres html... Il est seulement dommage que l'outil idoine propose par WRI (pour surveiller le petit robot) ne fonctionne qu'avec "du" php...

kilik · 10 Décembre 2003

bah magix, met toi zy au php, c'est facile, (j'suis pas programmeur de formation, et pourtant j'ai reussi a comprendre assez vite)
c'est pratique, c'est rapide, c'est extensible, meme si d'autres langages ont des fonctions différentes, le php couvre a peu pres les besoins basique d'un site internet.
Je ne dirai pas qu'il dépasse l'asp ou le cfm, ou d'autres langages, mais il est assez puissant

DAVID86 · 10 Décembre 2003

je dirais qu'il dépasse l'asp en terme de souplesse tout au moins

Nitou · 10 Décembre 2003

Chez moi, il vient tous les jours pour indexer environ 4-5000 pages

yannouk · 10 Décembre 2003

wahou...bah nitou apparement t en pole position la

WebRankInfo · 10 Décembre 2003

c'est marrant Nitou, on a environ autant de pages indexées dans Google, mais moi il vient voir 2 fois moins de pages.
peut-être qu'il commence à les connaitre par coeur

Nitou · 10 Décembre 2003

C'est pas plus mal, ça conserve de la bande passante ;-) mais c'est vrai qu'il revisite régulièrement des pages déjà indexées. Peut-être que le contenu de mon site est un peu plus dynamique.

cleden · 10 Décembre 2003

Pas très sympa Googlebot avec mon site, il n'a visité que 21 pages de mon site aujourdh'ui :cry: Je me rassure en me disant que 21 pages sur a peu près 30 c pas mal :lol:

D'autre part, G a affecté un PR de 4 à tous les index de mes repertoires... étrange, sachant que certains n'ont presque pas de BL. Mais bon, on ne va pas se plaindre...

Loïc

sdamain · 10 Décembre 2003

GG est occupé a indexé pas mal de pages chez moi, il en est à 78 pages

Espérons que ca va durer et que toutes les page vont y passer cette nuit.

yannouk · 11 Décembre 2003

je suis jaloux, pas encore de deepcrawl chez moi

DAVID86 · 11 Décembre 2003

en fait, il n'a visité que 132 pages alors que pompos m'en a visite 4800... et il n'a plus l'air d'avoir faim

le fénéant!
Romain, deepcrawl amorcé, mais juste amorcé...

iconso · 11 Décembre 2003

Pour moi le deep crawl est toujours bien identifiable dans les passages du bot, il a commencé le 08/12 et continue encore en ce moment : plus de 25000 pages crawlées depuis cette date.

Fred

DAVID86 · 11 Décembre 2003

et ce sont des robots en 64.68.82?

iconso · 11 Décembre 2003

oui oui c'est bien du 64.68.82.XXX
En fait maintenant j'appelle deep crawl une méthode de crawler, qui n'est pas (plus) en relation avec les anciens bots qui étaient dédiés à cette tache : si les bots ont changés, les méthodes sont très similaires.

Il semblerait que ce que certains appellent everflux soit uniquement dédié à certaines pages, bien rankées (ou potentiellement bien "rankables"). Pour les autres le schéma ancien reste en partie vrai j'ai l'impression...

Fred

DAVID86 · 11 Décembre 2003

potenciellement bien rankable : tu veux dire, en lien avec une page de PR5 par ex, mais encore à 0?

iconso · 11 Décembre 2003

Oui c'est presque ca. En fait beaucoup de gens sur ce forum se plaignent que certaines pages ne sont meme pas visitées par le bot : pour ces gens il faut attendre le "Full Crawl".

D'autres au contraire voient les nouvelles pages indexées et bien positionnées en quelques jours seulement, et cela quelle que soit la date de mise en ligne. Ces pages sont ajoutées dans l'index et apparaissent avec un PageRank 0, mais sont assez bien classées sur les requetes, et ne disparaissent pas de l'index au bout de quelques jours.

Pour moi la différence est peut être liée à l'importance potentielle (futur PR) de la page, sinon tout le monde serait logé à la même enseigne. Mes nouvelles pages profondes du site sont ajoutées seulement après le full crawl, alors que j'ai vu récemment une catégorie (liée par ma home) être indexée presque immédiatement dès sa mise en ligne et pas en full crawl. Avant il fallait que j'attende le full crawl meme pour les pages liées de ma home.

En plus du rank potentiel de la page, je pense qu'il y a d'autres critères comme :
- L'ancienneté du site
- La fréquence de mise à jour générale

Fred

DAVID86 · 11 Décembre 2003

oui, j'ai cru remarquer que les pages mises à jour souvent sont crawlées -ce qui est logique- pratiquement tout les jours.
Mais l'ancienneté d'un site, c'est l'ancienneté dans sa base (ce que je pense), ou la date de création du fichier (et la, je sais pas comment il la récupère)?

iconso · 11 Décembre 2003

Attention je parle ici uniquement de pages nouvelles, non présentes dans l'index Google. Les pages connues de Google sont crawlées plus ou moins régulièrement selon d'autres critères (meme s'ils sont assez proches).

Dans le concept d'ancienneté du site, je pense qu'il faut plutot considérer qu'un site trop jeune ne peut pas bénéficier de l'everflux car Google n'a pas assez d'infos sur ses mises à jour, son nombre de pages, etc..

Fred

puppetMaster · 15 Décembre 2003

il a fait 2 deep crawl : lundi et jeudi dernier.

DAVID86 · 15 Décembre 2003

pour l'instant, google n'a pas été en dessous du niveau -2 chez moi... et vous? Jusqu'à quel niveau vas t'il??
Romain

puppetMaster · 15 Décembre 2003

lundi dernier et jeudi il a été jusqu'au dernier niveau chez moi apparemment (niveau 5,6,7).

chitopila · 15 Décembre 2003

Chez moi, Google passe environ 2 fois par semaine mais il ne crawle que 8 à 10 pages à chaque fois. Je n'ai encore jamais eu de deep crawl !!!

Kaledonie · 15 Décembre 2003

Salut,

Pour ma part GG passe tous les jours voir ma première page (PR 6)
Depuis une semaine, il fait un full crawl à raison de 80-100 pages par jour, avec des IP en 64.68.80, 64.68.82 et 64.68.84

Voilà, voilà

yannouk · 15 Décembre 2003

erf moi toujours pas de full crawl a l'horizon

DAVID86 · 15 Décembre 2003

Une petite partie des Niveaux 3 visité depuis ce matin... et chez moi, ça descend jusqu'à 5 ...

cucupidon · 15 Décembre 2003

chitopila a dit:
Chez moi, Google passe environ 2 fois par semaine mais il ne crawle que 8 à 10 pages à chaque fois. Je n'ai encore jamais eu de deep crawl !!!

Idem sauf que moi c'est plutot 10 a 15 pages... Mais le plus surprenant c'est qu'il enticipe la cration de nouvelle pages ex:

-www.monsite.com/brows?1
a
-www.monsite.com/brows?82 sont des pages existantes

A chaque passage il test la derniere page existante +1 (ici dans lexemple:www.monsite.com/brows?83) . Ce qui est bizard c'est que dans tous les cas (meme si il fait +500) il y aurait une page de generée avec header et footer mais sans contenu intermediare ce qui pourait qd meme etre compté comme une page classique mais il ne cherche pas a extrapoler plus que le +1...