Révélations sur eval.google.com (Rater Hub Google)

Cet article fait partie des archives de WebRankInfo : certes, il est ancien, mais complet et détaillé pour son époque. Si vous cherchez d'autres informations, faites une recherche sur le site ou participez au forum. Contactez-moi si besoin.

Google Evaluation Console (2005)

Des observateurs avaient déjà reporté le mystérieux eval.google.com (par exemple sur le forum de WRI en mars 2004 : eval.google.com). Rien ne se passe quand on cherche à accéder à ce site, car en réalité il est réservé à des utilisateurs bien précis.

D'après Henk van Ess, il s'agit d'un laboratoire géré par des humains (et non automatisé comme la plupart des outils de Google), répartis un peu partout dans le monde, payés par Google pour analyser les résultats de Google (entre 10 et 20$ par heure). L'objectif est de juger la qualité des résultats de Google afin de réduire le spam et augmenter la pertinence des résultats. Ces personnes auraient été recrutées par Google principalement dans les universités ; Google les appelle ses "agents internationaux". Henk cite un passage d'une offre d'emploi parue sur Monster :

Google: QUALITY RATER (SPANISH, FRENCH, DUTCH, ITALIAN) Company: Google Inc. Location: ES-MAD-ANYWHERE IN SPAIN Status: Part Time, Temporary/Contract/Project Shift: Morning Shift, Afternoon Shift, Rotating, After School Job Category: Internet, eCommerce & New Media Education Level: Bachelor's Degree Job Description: QUALITY RATER - (SPANISH, DUTCH, ITALIAN, FRENCH)

This is a temporary role offered through Kelly Services.

Google Inc. is recruiting part-time, temporary, home-based workers to help with work on a search quality evaluation on a project basis. You would work at your own pace, and the time and length of any particular work session would be up to you.

Candidates will evaluate search results and rate their relevance. Thus, all candidates must be web-savvy and analytical, have excellent web research skills and a broad range of interests. Specific areas of expertise are highly desirable. We are looking for smart people who read voraciously and have a wide variety of interests. Raters should have all the following qualifications:

• Native-level fluency in Dutch, Italian, Spanish, or French
• In-depth, up-to-date familiarity with the web culture of at least one predominantly Dutch, Italian, Spanish, or French-speaking country.
• Excellent web research skills and analytical abilities.
• A high-speed internet connection.
• Legal eligibility to work in the Netherlands, Italy, Spain or France.
• Moderate ability to read and write in English. Perfect English is not necessary; however, you must be able to read and write English well enough to use software with an English interface, understand fairly complicated instructions written in English, and make yourself understood in informal written communication. The job involves frequent written communication with fellow Quality Raters.

For immediate consideration, please send an ENGLISH text (ASCII) or HTML version of your resume to monsterjobs@google.com

Important: The subject field of your email must include Quality Rater - TEMPORARY.

Henk van Hess propose même une animation Flash donnant un aperçu du site eval.google.com (cliquez ici si cette animation n'est plus disponible sur le site d'origine).

Les personnes analysant ces résultats (quality reviewers) reçoivent des instructions de la Human Quality Evaluation Team de Google. Pas facile de savoir sur quels critères ils se basent pour déterminer si une page est du spam ou pas... Toujours d'après Henk van Hess, Google déteste les sites affiliés (n'ayant strictement aucun contenu propre). Voici une traduction libre d'un extrait publié par Henk van Hess à propos de ces recommandations :

Comme vous le savez bien désormais, nous cherchons à distinguer la page résultat de la recherche et l'ensemble du site sur lequel elle est située. Ceci peut parfois vous amener à qualifier une page de spam ("offensive") alors que d'autres pages du même site peuvent être notées positivement. Par exemple si sur un site de comparaison de prix vous trouvez des pages n'ayant que des liens affiliés et aucun autre contenu (pas d'analyse du produit, pas de comparaison de prix, rien du tout), alors cette page doit être notée comme offensive, même si d'autres pages du même site contiennent un contenu réel (information, aide, etc.).

Exemple 1 : Exemple typique de page d'hôtel "spam" : La page d'accueil http://www.iagora.com de ce site peut pourtant offrir des informations intéressantes sur le tourisme.

Exemple 2 : page d'entrée avec de nombreux textes cachés : http://www.anthonycalleja.com Cette page est du spam (sélectionnez tout avec CTRL+A) La présence de liens cachés semble mener systématiquement le "reviewer" à cataloguer la page comme spam.

Dans le cas des sites affiliés (par exemple les sites de réservation d'hôtels ou les sites de jeux en ligne), Google semble vérifier si le site fournit du contenu supplémentaire par rapport au contenu d'affiliation. Si tout est généré automatiquement, ce sera sans doute classé spam. S'il y a du contenu original, par exemple des commentaires d'utilisateurs, de l'information locale, en bref s'il fournit une valeur ajoutée au visiteur, alors le site doit être noté de manière positive.

Google aurait établi une "liste blanche" de sites a priori "non spam" : Kelkoo, Shopping.com, dealtime.com, bizrate.com, bizrate.lycos.com, dooyoo.com, yellowpages.com.

Pour conclure, il semblerait que Henk van Hess vienne de jeter un pavé dans la marre... Il indique n'avoir reçu aucune réponse de Google, qui n'avait jamais parlé de ce programme (me semble-t-il). La machine Google ne parviendrait-elle pas à suivre la course des spammeurs ? Ou bien ce programme serait-il en place depuis déjà fort longtemps ?

Sources Henk van Ess

Via Ben

Source : searchbistro.com

Discutez de l'article Révélations sur eval.google.com (Rater Hub Google) dans le forum

Le rôle des Human Raters chez Google (évaluateurs de qualité du moteur)

En 2012, Matt Cutts a expliqué dans une vidéo le rôle des Human Raters, ces évaluateurs humains de la qualité des résultats du moteur de recherche.

Les Human Raters (évaluateurs humains) sont des personnes dont le travail consiste à évaluer la qualité et la pertinence des résultats renvoyés par le moteurs de recherche Google. Ils sont là pour ajouter une touche humaine à l'algorithme par définition automatisé. Ces personnes sont (dans la plupart du temps ?) des sous-traitants, payés à l'heure.

Leur rôle est de contrôler les résultats et dire s'ils sont pertinents ou pas. Mais ils n'ont pas la possibilité de modifier manuellement les résultats (ni l'algorithme d'ailleurs). Par contre, leurs conclusions sont exploitées par la Quality Search pour valider - ou pas - un changement d'algorithme. Rappelez-vous que Google effectue plusieurs centaines de changements par an, la plupart sont indétectables mais certains ont un gros impact (par exemple Mayday, Panda ou Penguin).

Voici la vidéo :