Full crawl démarré !

cariboo · 15 Avril 2003

J'ai un passage du robot de Full Crawl dans mes logs cette nuit à 3h45...

Le full crawl a démarré 8)

Jocelyn · 15 Avril 2003

Oulala mauvaise nouvelle mon serveur est encore hors ligne pour maintenance :?
J'espère que je ne vais pas rater le full crawl ce serait bête :cry:

Jocelyn

BDGest · 15 Avril 2003

Encore rien chez moi, quelques fresh crawl mais pas encore le full

Nitou · 15 Avril 2003

BDGest a dit:
Encore rien chez moi, quelques fresh crawl mais pas encore le full

Pareil

Geo 113 · 15 Avril 2003

moi..

rien du tout !

BDGest · 16 Avril 2003

Je viens d'avoir le premier passage du full crawl a l'instant...

moutyk · 16 Avril 2003

Moi aussi a 23 h 30
Avec plein d'email en prime avec googlestats

Jocelyn · 16 Avril 2003

Le FreshBot est passé hier matin sur mon site, et il a pris la page d'accueil.
Depuis 24H, aucune nouvelle de la tribu des GoogleBot. Mais mon site est en ligne, ils peuvent venir maintenant

Jocelyn

Yvan · 16 Avril 2003

Ne t'inquiète pas Jocelyn, GoogleBot FC est passé sur mon site cette nuit vers 4h, mais n'a pris que la page d'accueil. Donc pas de souci à se faire pour ton apparition un peu tardive.

luckyluk · 16 Avril 2003

un passage du full chez moi cette nuit!

Eservice · 16 Avril 2003

Bonjour, passé aussi cette nuit chez moi

djoan · 16 Avril 2003

oui il a démarré vers 3h30, et il continu, j'en suis à 60 pages, samedi, 600 pages, depuis dimanche j'ai doublé mes visiteurs, pour info je suis passé de 300 à 600 visiteurs, I love Google et l'url rewriting parceque mon site ne contient que 3 pages principales en include

djoan

WebRankInfo · 16 Avril 2003

je confirme aussi : grande sortie des robots de full crawl. par contre l'alerte automatique de début de full crawl dans GoogleStats n'est pas encore parfaite... puisque je n'ai rien reçu !

djoan · 16 Avril 2003

salut Olivier, j'ai corrigé la ligne 92 du full crawl, aprés avoir reçu 2 messages vides à 3h44 et 3h45, depuis je ne reçois plus d'email, je n'ai plus l'erreur dans les logs, je crois que maintenant c'est ok, peux-tu confirmer ?

djoan

WebRankInfo · 16 Avril 2003

le pb est qu'en début de full crawl on devrait recevoir 1 mail !

djoan · 16 Avril 2003

voici ce que j'ai maintenant

Code:

$sql3  = "SELECT id";
$sql3 .= " FROM $TABLE_LOG";
$sql3 .= " WHERE ip LIKE '".$FULL_CRAWL_IP."%'";
$sql3 .= " AND ((TO_DAYS(NOW()) - TO_DAYS(date)) < $NB_J_DET_FULL_CRAWL)";
$res3  = mysql_query($sql3) or sendErrorMySQL($sql3);

WebRankInfo · 16 Avril 2003

oui moi aussi... on continue dans le forum GoogleStats ?

djoan · 16 Avril 2003

cariboo · 16 Avril 2003

Google se déchaine.

Full crawl quasi intégral de mon site cette nuit, et en même temps, trois passages du fresh bot !

C'est la première fois que je vois cela ! C'est l'embouteillage :lol:

BDGest · 16 Avril 2003

Ouais moi aussi le frsh crawl passe en même temps que le full crawl 8O
Le full n'est pas encore à fond chez moi, juste une 10aine de pages pour l'instant

MagiX · 16 Avril 2003

BDGest a dit:
Ouais moi aussi le frsh crawl passe en même temps que le full crawl 8O
Le full n'est pas encore à fond chez moi, juste une 10aine de pages pour l'instant

Ouf, un echange de liens qui est arrive juste a temps ! LOL

Ca ne risque pas de changer grd chose ; mais avec 2 ou 3 modifs apportees ces jours-ci, il y a p't'etre un espoir ?!... (rolleyes)

luckyluk · 17 Avril 2003

50 % de mon site fullcrawlé cette nuit..

editer à 11:09..
à cette heure...95% de mon site crawlé..par le full(60 pages..)

turnitin à aussi crawlé 90%
et Fast aussi 90%...

ils ont mangé du lion!

bielle64 · 17 Avril 2003

Combien de jours dure un Full-Crawl en moyenne ?
Parceque là je suis très déçu sur mes 2 sites pour le moment. Le GBot 216 n'a pas voulu aller plus loin que ma page d'acceuil

annuat · 17 Avril 2003

Combien de jours dure un Full-Crawl en moyenne ?
Parceque là je suis très déçu sur mes 2 sites pour le moment. Le GBot 216 n'a pas voulu aller plus loin que ma page d'acceuil

7 à 10 jours...moi aussi il avait crawlé que l'index

La, il vient de crawler une grosse partie de mes sites.

si t'as rien changé de sensibles (robots.txt, rewriting, ...) par rapport au précedent crawl, pas de raison de s'inquiéter.

bielle64 · 17 Avril 2003

C'est le premier full-crawl pour mes sites donc je ne peux pas comparer.
Enfin si ça dure env. 8 jours, on en est qu'à la moitié, l'espoir fait vivre...
Il y a de l'URL-Rewriting et des robots.txt sur mes deux sites mais je ne pense pas qu'il y ait des problèmes, des fresh bots sont bien rentrés il y a qq semaines...
W8 & C...

Geo 113 · 17 Avril 2003

moi c'est bizard, il regarde les même pages (surtout les forum) en très grande quantité, pourtant il boude certaines page..

elles ont pourtant toutes des liens en home page !

luckyluk · 17 Avril 2003

ça vas arriver,..

je crois qu'il passe sur les sites par leur ordre d'importance..
(quoi que je peux dire une grosse conn...ie là)

du genre les pr3..seront crawlé apres les pr4..
d'ailleurs cela se verifie souvent quand le prmier jours, il passe sur l'index...le 2eme sur les page linké par l'index, 3eme sur les pages link par ces linké :roll: et apres ça se gate 8O

Aktivist · 18 Avril 2003

Le full crawl est terminé pour moi, et j'ai gagné une place sur mon mot clé principal je passe premier alors qu'apreés la google dance j'etais toujours deuxieme.

Vive le crawl

BDGest · 18 Avril 2003

Normalement le crawl n'a aucune incidence sur ton positionnement dans google ! C'est juste une indexation des pages qui sera utilisée pour la prochaine dance. Si ta position a changé voit plutot dui coté du fresh crawl, et a mon avis ce n'est que temporaire, tu retrouveras la place que tu avait juste apres la dance, trés rapidement !

Aktivist · 18 Avril 2003

Oui c'est ausi ce que je pense, mais c'est bizzare car je n'ai pas eu de visites du freshcrawl. Enfin on verra bien

WebRankInfo · 18 Avril 2003

moi j'ai remarqué qu'avec la baisse des visites du fresh bot (priorité au full crawl !), les positions dans Google pour mes mots-clés ne bougent quasiment pas depuis le début du full crawl

loopy · 18 Avril 2003

Bonjour,
J'ai optimisé mes liens internes avec des mots clés.
Le résultat sera effectif aprés le fullcraw, un passage du freshbot, ou bien, aprés la prochaine dance ?
Merci.

Filou · 18 Avril 2003

Salut,

Après la Googledance, tu verra les effets, mais il se peut qu'un fresh te fasse progresser de qques places... Enfin à voir tout de même.

Google n'est pas une science exacte

tim65 · 19 Avril 2003

Salut,

Google enfin sur mon site aujourd'hui ...
3700 pages parcourues pour le moment.
Verdict dans quelques jours pour le positionnement.

Geo 113 · 20 Avril 2003

lo, le verdict dans un mois minimum..

sinon, le google crawl c'est finit pour moi, plus aucune visites depuis 10 heures...

Digit · 20 Avril 2003

Pour ma part il continue comme un forcené (une page à la minute) :

Code:

crawl6.googlebot.com - - [20/Apr/2003:15:58:28 +0200] "GET /leriche/?pic=35 HTTP/1.0" 200 6607 "-" "Googlebot/2.1 (+http://www.googlebot.com/bot.html)"
crawl5.googlebot.com - - [20/Apr/2003:15:58:29 +0200] "GET /vidal/?pic=29 HTTP/1.0" 200 6509 "-" "Googlebot/2.1 (+http://www.googlebot.com/bot.html)"
crawl4.googlebot.com - - [20/Apr/2003:16:00:54 +0200] "GET /vidal/?pic=30 HTTP/1.0" 200 6517 "-" "Googlebot/2.1 (+http://www.googlebot.com/bot.html)"
crawl3.googlebot.com - - [20/Apr/2003:16:02:36 +0200] "GET /leriche/?pic=-36 HTTP/1.0" 200 9052 "-" "Googlebot/2.1 (+http://www.googlebot.com/bot.html)"
crawl5.googlebot.com - - [20/Apr/2003:16:02:59 +0200] "GET /reix/?pic=34 HTTP/1.0" 200 6526 "-" "Googlebot/2.1 (+http://www.googlebot.com/bot.html)"
crawl1.googlebot.com - - [20/Apr/2003:16:03:25 +0200] "GET /reix/?pic=29 HTTP/1.0" 200 6505 "-" "Googlebot/2.1 (+http://www.googlebot.com/bot.html)"
crawl7.googlebot.com - - [20/Apr/2003:16:04:43 +0200] "GET /razmadze/?pic=0 HTTP/1.0" 200 6560 "-" "Googlebot/2.1 (+http://www.googlebot.com/bot.html)"

c'est le fresh crawl qui me boude : que la page d'accueil aujourd'hui

bielle64 · 21 Avril 2003

Y'a pas mal de coupures en ce moment chez mon hébergeur (OVH).
Avec un peu de malchance il y en a eu une pendant le passage du full crawl et du coup ce serait la raison du fait que seule la page d'accueil a été visitée.
Dégouté :'(
En c'est pas tout à fait terminé, il y a un gros site ricain qui a GoogleStats et je surveille chez lui

djoan · 21 Avril 2003

Salut bielle64,

Je suis aussi chez cet hébergeur, et le full a eu lieu correctement pour moi depuis 4 jours, 600 pages par jour visitées.

djoan

bielle64 · 21 Avril 2003

pfffff, je comprends pas. Enfin tant que c'est pas terminé il reste un espoir mais ça commence à sentir mauvais, je croyais vraiment avoir fait les choses comme il faut.
Si quelqu'un voit une erreur dans les pages ou le robots.txt, le site est celui là :
http://www.ossau.net

Filou · 21 Avril 2003

Concernant les coupures chez Ovh, c'est normal, ils font de la maintenance en ce moment, d'ailleurs, il devrait y en avoir une ou deux aujourd'hui mais ce sont des micro-coupures d'une dizaine de seconde.

Abonnez-vous à la mailing liste d'ovh pour vous tenir au courant

Suede · 21 Avril 2003

Il passe encore.

François

bielle64 · 21 Avril 2003

Micro coupures

Les micro coupures de chez OVH ne sont pas "normales", même si elles explicables. Je suis aussi abonné à la ML OVH (c'est très pratique) mais je disais juste ça car mon site (ossau.net) n'a été full-crawlé qu'en page d'accueil. Avec un peu de malchance, une micro coupure a eu lieu à ce moment là...
Enfin, de nombreuses personnes constatent que ce full crawl semble plus lent que les autres, j'attends encore...

Jocelyn · 21 Avril 2003

Re: Micro coupures

bielle64 a dit:
Enfin, de nombreuses personnes constatent que ce full crawl semble plus lent que les autres, j'attends encore...

D'après mes logs, le googlebot a demandé jusqu'à 14 pages en 25 secondes sur mon site. C'est plutôt rapide, même si je suis très loin du nombre de requêtes de googlebot que certains ont subi (je pense à Mitirapa et son forum à la dernière google danse).

François m'a fait remarquer (merci) ce matin que j'étais en train d'optimiser une grande partie de mes pages sur les mots php error in function require at line 52 suite à une mauvaise manipulation de ma part. J'en ai marre !
:cry: :cry: :cry:

Je vous dirai dans un mois ma position sur mes "mots-clés involontaires"... :?

Jocelyn

440BX · 24 Avril 2003

Pic à 74 Googlebots cette nuit sur mon site à 00h45

Je suis également hébergé chez OVH, mais les micro-coupures ne semblent pas affecter le full craw. Mes visiteurs m'en ont signalé une dans la nuit à 02h (assez longue en plus, un bon 1/4 d'heure à priori :?) mais ca n'a affecté ni le nombre de bots connectés, ni le trafic sortant => faut croire que ca ne concerne que les liens vers certains réseaux (Wanadoo par exemple)

bielle64 · 24 Avril 2003

Ha ok, donc ce n'est peut-être pas tout à fait fini, en attendant, aucune visite de d'un deepbot depuis le seul passage sur ma page d'accueil il y a 5 jours :'(
Par contre scooter passe tous les jours sur ma page d'accueil, ça c'est de la surveillance :

BDGest · 26 Avril 2003

Alors là 8O
Le full crawll vient de repartir de plus belle sur mon site depuis ce matin. Je n'en reviens pas, il est trés trés long ce mois ci non ? Je pensais qu'il avait fini (plus de passage depuis 3 jours) et là, non, il est revenu. Currieux 8O Enfin, je ne me plaint pas mais je me demandais si il passait encore chez certains ?

cariboo · 26 Avril 2003

Je confirme : le robot est de retour sur mon site cette nuit... Deux séries de passages à 1h et 5h du matin

Plus un passage du fresh crawl à 7h

Bizarre... 8O

WebRankInfo · 26 Avril 2003

moi il semble s'etre presque arrêté depuis hier matin (un seul passage depuis hier matin), le reste c'est le fresh crawler

luckyluk · 26 Avril 2003

oula encore au boulot celui là !

moi j'ai plus eu de trace depuis le 17 !
il m'avai tout crawlé..faut dire que c'est un site n'a pas beaucoup de pages..+-60 pages

he ben ça nous fait une dance en juin ça :cry: pour le peu qu'il fasse les ponts...

y a que mes pages d'une rubrique dont les liens dans mon site sont en 'target="_blank" qu'il ne semble pas avoir suivi...
je commence a me demander si il ne le considere pas comme un lien externe vers un autre site, surtout que l'url est du type http://www.monsite.com/unrepertoire/unfichier.html

ou alors c'est googlestats qui ne les enregistres pas en pensant ça...faut que je verifie...

cariboo · 26 Avril 2003

bon sang, mais c'est bien sûr !

Tu as peut-être mis le doigt sur un truc, luckyluk. J'ai quelques pages de mon site qui s'affichent dans un nouveau browser, et que j'ai plus de mal que les autres à faire référencer dans Google...

Jusqu'ici, je pensais que c'était dû à d'autres facteurs, mais l'hypothèse selon laquelle le robot de google tient compte de l'attribut target _blank pour suivre ou pas un lien est loin d'être absurde...

Mais en tout cas, cela ne l'arrête pas toujours, les contre exemples sont nombreux...

WebRankInfo · 26 Avril 2003

peut-être qu'il met ces liens dans une autre liste d'attente, et qu'ils sont traités + tard ?
en tout cas ce n'est pas un facteur bloquant

luckyluk · 26 Avril 2003

j'ai rien dit !

c'est normal que je ne le vois pas...

je ne pense pas avoir mis les marqueurs googlestats dedans vu qu'il se creent dynamiquement

c'est un livre d'or :roll:
faut que je rentre dans le script pour voir..

bielle64 · 26 Avril 2003

FullCrawl d'avril toujours en cours

Pour moi toujours aucun passage depuis le 17 ou 18 ou il n'a crawlé que ma page d'accueil mais le site américain que je surveille car il a GoogleStats a reçu des passages du deepbot il y a encore 20min donc l'espoir est toujours là.
Je ne donne pas l'adresse de ce gros site, car je ne voudrais pas qu'il modifie l'adresse de GoogleStats si cela le dérange d'y avoir trop de visites.

Digit · 26 Avril 2003

Effectivement il a repris du poil de la bete : une centaine de passage pour le full depuis midi (rien pour le fresh), mais il semblerait qu'il n'aille que sur les pages les plus profondes de l'arborescence, les autres ayant déjà été faites depuis longtemps en début de full. Ca sent la fin du full.

bielle64 · 30 Avril 2003

FullCrawl over

Je ne détecte plus de full bots depuis le 27, il semble que fullcrawl soit bien terminé.
Complètement foiré pour moi donc :'(
Enfin je pense que mon PR devrait quand même augmenter grace à de bons backlinks.
Je parle là de mon Forum sur la vallée d'Ossau.

Mon site sur Bielle semble être plus apprécié des spiders, il a été fullcrawlé aux 2/3 par Google et aujourdh'hui il l'a été complètement par Fast !

enky · 30 Avril 2003

zut, j'ai merdouiller et je l'avais pas vu....
J'avais oublier de mettre un liens important que je voualis faire référencé