+ de 2 millions de serveurs dans les datacenters Google ?

The Economist estime à plus de 2 millions le nb de serveurs gérés par Google dans ses data centers !

L'infrastructure technique impressionnante de Google est certainement un des éléments clés de sa réussite d'une part, et des difficultés des concurrents pour le rattraper. The Economist estime aujourd'hui à 2 millions le nombre de serveurs utilisés par Google dans ses différents data centers.

Didier Durand nous rapporte ce chiffre impressionnant fourni par The Economist :

Google is said to be operating a global network of about three dozen data centres loaded with more than 2m servers (although it will not confirm this). Microsoft is investing billions and adding up to 35,000 servers a month. Other internet giants, such as Yahoo!, are also busy building huge server farms.

Cliquez pour agrandir...

Soit en traduction rapide :

L'ensemble du réseau géré par Google, réparti sur 3 douzaines de data centers, contiendrait plus de 2 millions de serveurs (mais ce chiffre n'est pas confirmé). Microsoft investit des milliards et ajoute chaque mois 35.000 serveurs à son réseau. D'autres géants d'Internet comme Yahoo! s'activent également à construire des fermes de serveurs gigantesques.

Cliquez pour agrandir...

Voici l'évolution du nombre de serveurs Google (chiffres relevés par Didier Durand) :


Que pensez-vous de cette estimation ?

Waouf ! C'est énorme, ou vont t-ils aller ?

Si je ne m'abuse les datagrids de Google sont composées de machines moins puissantes que ceux de leurs concurrents.

Plus que jamais on peut vraiment faire tout dire aux chiffres.

aux chiffres ou au reste ! Exemple : ton post qui ne cite aucune source (je ne dis pas que tu as tort...)

cela dit il ne fait aucun doute pour moi que Google a une avance considérable sur ses concurrents en termes d'infrastructure et de capacité de crawl, indexation et calculs en tous genres.

Merci pour l'information.
J'en ai profiter pour mettre à jour : [Google] Les Datacenters avec l'article et une nouvelle section.

hé! tu m'étonne que ça pose des problèmes de synchro :mrgreen:

C'est vrai que j'avais lu que GG préférait de multiple machines "simples" aux gros serveurs de la mort qui tue...

Maintenant, les chiffres font souvent halluciner parce qu'on ne lit qu'eux, mais lorsque l'on prend juste 2 ou 3s pour les rapporter au service, ça devient des données normales.

Si l'on calcule que mettre un serveur opérationnel, tout installer et copier prend au gros minimum 1 heure 'ils clonent leur serveur, et au moins 3 à 4h si on compte le temps même de mettre la machine dans le rack le brancher etc..

Cela ferait 6 000 000 d'heures / 40 heures = 150 000 humains devraient travailler 1 semaine !

fandecine a dit:

hé! tu m'étonne que ça pose des problèmes de synchro :mrgreen:

Cliquez pour agrandir...

Vous pensiez à quelque chose de précis ?

Je ne le dirais pas assez.

Des centaines de sites méritent la 1ère places sur les SERP.

Des modifications ne font jamais de mal.

;-)

Rod la Kox a dit:

Je ne le dirais pas assez.
Des centaines de sites méritent la 1ère places sur les SERP.
Des modifications ne font jamais de mal.
;-)

Cliquez pour agrandir...

De qualité (et non spammeurs) ce qui n'est pas le cas avec la dernière update (lien ci-dessus ).

Rod la Kox a dit:

C'est vrai que j'avais lu que GG préférait de multiple machines "simples" aux gros serveurs de la mort qui tue...

Cliquez pour agrandir...

Effectivement, les bienfaits et la puissance du grid computing ne sont plus à démontrer...

WebRankInfo a dit:

aux chiffres ou au reste ! Exemple : ton post qui ne cite aucune source (je ne dis pas que tu as tort...)

cela dit il ne fait aucun doute pour moi que Google a une avance considérable sur ses concurrents en termes d'infrastructure et de capacité de crawl, indexation et calculs en tous genres.

Cliquez pour agrandir...

Bonsoir Olivier,

En effet, mon post était un peu dépourvu de références.

Je reste convaincu que Google dispose d'une avance de taille sur ses concurrents en termes d'infrastructures. Je trouve cependant un peu réducteur de comparer le nombre de serveurs.

Pour ce qui est de mes sources:

Amenable to extensive parallelization, Google?s web searchapplication lets different queries run on different processors and,by partitioning the overall index, also lets a single query usemultiple processors. To handle this workload, Google's architecture features clusters of more than 15,000 commodity-class pcs with fault-tolerant software. This architecture achievessuperior performance at a fraction of the cost of a system builtfrom fewer, but more expensive, high-end servers.

Cliquez pour agrandir...

Luiz André Barroso, Google
Jeffrey Dean, Google
Urs Hölzle, Google
"Web Search for a Planet: The Google Cluster Architecture"
http://research.google.com/archive/goog ... r-ieee.pdf

Je ne pense pas que tous les DCs soient encore ainsi mais il n'y a pas si longtemps que ça, certaines personnes disaient encore avoir vu des sales entières de cartes mères et de disques durs fixés sur des bandes de velcro.

Je ne vois vraiment pas l'intérêt de comparer qui a la plus grosse... armada de serveurs
A quand la mise en place d'une méthodologie pour comparer les différents moteurs de recherche

Si on regarde le graphique de l'article, cela donne :
1 000 000 de serveurs en plus de août 2007 à octobre 2008.
soit environ 72 000 serveurs par mois
soit 2 400 serveurs par jour.

Répartis dans le monde, donc ajoutés 24h/24, soit 100 serveurs par heure.
Répartis sur 3 douzaines de sites, soit quasiment 3 serveurs en moyenne par heure sur chaque site.

Pour répondre aux besoins croissants en calcul et stockage, ça semble cohérent.

moi j'ai pas de misère avec ses chiffres là, je pense que c'est crédible.

Je me rappelle à l'école dans les années 2000 on parlait de 25 000 machines et on trouvait ça énorme.

Qu'on soit passé de 25 000 à 2 millions de machine en 8 ans, considérant que depuis ils ont pris le monopole du marché c'est tout à fait cohérent.

Pour faire suite au post de l'autre qui disait que ça prendrait 150 000 personnes à temps plein pendant une semaine pour installer tout ça, je pense pas que¸ca soit un problème.

D'une part, tous ces serveurs ne sont pas tous au même endroit. Il y a des datacenter dans une multitude de pays. Uniquement dans le super quartier Google en Californie, Google a plusieurs milliers d'employés. Si on rajoute les centaines d'équipes locales, dans tous les états américains, toutes les provinces canadienne, tous les peys Européens et asiatique, je vois pas où est le problème de s'occuper de 2 millions de serveur, c'est tout à fait cohérent.

Bienvenue webcov sur le forum de WebRankInfo.

webcov a dit:

D'une part, tous ces serveurs ne sont pas tous au même endroit.

Cliquez pour agrandir...

Complément pour plus d'informations sur les Data Center de Google :
[Google] Les Datacenters