Google a répertorié 1000 milliards de pages sur le web !
1 trillion, c'est-à-dire mille milliards (1.000.000.000.000) : voilà le nombre de pages web distinctes que Google a répertorié ! Jesse Alpert et Nissan Hajaj (2 ingénieurs de Google de l'équipe en charge de l'infrastructure de la recherche) donnent quelques chiffres qui donnent le tournis...Depuis le premier index de Google en 1998, qui comptait 26 millions de pages, le leader des moteurs de recherche a bien progressé. La barre du 1er milliard de pages indexées a été franchie en 2000. Pendant les années qui ont suivi, Google et Yahoo se sont livrés à une petite guerre de communication sur le thème C'est moi qui ai le plus gros index... Quand ils ont décidé d'arrêter ce petit jeu et de ne plus communiquer, on en était resté aux environs de 20 milliards de pages.
Aujourd'hui, la barre des 1000 milliards aurait donc été franchie. Aurait, car qui peut vérifier ce qu'avancent ces ingénieurs de Google ? D'après eux, leur système a détecté plus d'un trillion d'URL mais en a retenu seulement 1 trillion d'uniques (après détection de contenus dupliqués). Toutes ces pages ne sont pas forcément indexées ; on imagine d'ailleurs assez bien qu'il existe quantité de pages sur le web qui ne sont que des contenus dupliqués ou des pages vides (les ingénieurs donnent l'exemple des liens jour suivant que l'on trouve sur des calendriers, qui mènent à des pages construites automatiquement mais sans forcément de contenu).
Au sujet de ce fameux PageRank, les ingénieurs nous donnent quelques chiffres assez étonnants. Avec le 1er index de 26 millions de pages, le PageRank pouvait être recalculé en quelques heures par un seul serveur, ce qui peut se comprendre. Mais ils prétendent qu'ils ont encore aujourd'hui la capacité à traiter les calculs plusieurs fois par jour, avec une matrice de 1000 milliards de colonnes ! Quand on sait qu'en plus de l'augmentation considérable du nombre de pages, l'algorithme est lui aussi largement plus complexe, on réalise à quel point l'infrastructure de serveurs de Google est un bijou de technologies unique au monde ! Avis aux concurrents qui aimeraient rattraper Google...
Remarque : le terme anglais trillion utilisé dans le blog de Google peut être ambigu à traduire : en anglais il signifie 1000 milliards (10^12) et en français 1 milliard de milliards (10^18).
)
