Mediapartners-Google

[nautiljon]

Bonjour,
J'ai eu la visite de ce bot ce matin, bot qui sert pour le referecement de pub je crois. Moi ça ne m'interesse pas donc dans mon robot.txt j'ai rajouter la ligne
User-agent: Mediapartners-Google*
Disallow:
que j'avais vu sur le robot txt d'un site web. Cette inscruction n'est elle pas censer lui dire de pas indexer mes pages ?, faut-il rajouter un "/" après le disallow ?

Merci.

Nautiljon.

 

[jeanluc]

Bonjour nautiljon,

Pour autoriser la visite du site à Mediapartners:

User-agent: Mediapartners-Google*
Disallow:

Pour interdire la visite du site à Mediapartners:

User-agent: Mediapartners-Google*
Disallow: /

Jean-Luc

 

[rottman]

Cette inscruction n'est elle pas censer lui dire de pas indexer mes pages ?

Ce robot n'indexe pas les pages mais vérifie son contenu pour pouvoir afficher des adsenses en rapport avec le thème de la page.

 

[nautiljon]

Merci bien a vous deux, j'y vois plus clair maintenant. Je vais pouvoir l'interdir car j'utilise pas de Adsenses sur mon site.

 

[jerome347]

C'est étonnant d'ailleurs qu'il passe sur ton site si tu n'en as pas...

 

[e-kiwi]

tu n'utilise pas, mais tu es inscrit ?

 

[ADBD]

Il reste à prouver que mediapartner respecte le fichier robots.txt

 

[nautiljon]

Nope je suis pas inscrit, rien, nada!
Il a crawlé pas au hazard mes pages, il a crawlé toutes mes pages d'amv qui trie les amv par ordre alphabétique soit
/amv_a.html
/amv_b.html
/amv_c.html
...
/amv_z.html
C'est bizarre, je l'avais jamais vu jusque là!

 

[jeanluc]

Nope je suis pas inscrit, rien, nada!

Certains navigateurs affichent des pubs Google dans leur version gratuite.

Les pages affichées sont alors visitées par Mediapartners, même si ce n'est pas la page elle-même qui contient la pub. Comme ça, le visiteur reçoit des pubs sur des sujets qui l'intéressent (enfin, en théorie).

Jean-Luc

 

[nautiljon]

Ah ok donc ce serait lié à un visiteur alors. Par ce que moi j'utilise que Firefox, et c'est un nopub lui !

 

[squawk]

en tous cas tu peux le laisser je pense....

 

[Ohax]

Bonjour nautiljon,

Pour autoriser la visite du site à Mediapartners:

User-agent: Mediapartners-Google*
Disallow:

Pour interdire la visite du site à Mediapartners:

User-agent: Mediapartners-Google*
Disallow: /

Jean-Luc

tout à été dit ;-)


pratique la partie pour autoriser tout le site quand on à un robots.txt relativement restrictif

si tu n'affiche pas d'adsense je te conseille de bloquer le bot qui comsomme enormement de bande passante (et de ressources logiquement si php...)

 

[nautiljon]

wé ayé j'lai désactivé. Ca devais être ton robots.txt que j'avais du copier Ohax quand je regarde le tiens ^^ s'pour ça qu'il était autorisé chez moi.

 

[msba]

les pubs Adesnse sous forme d'annonces thématiques prennent en compte la page où elles sont affichées mais aussi bizarrement dans le lien elle prennent en compte également la page référante à celle de l'afficheur (dans quel but???)

C'est possible que ça vienne de là...
En gros quelqu'un va sur ton site puis clique sur un lien qui l'amène sur un autre site où il y a une publicité Adsense thématique et puis il clique dessus -> du coup Adsense et son robot Mediapartner veulent en savoir plus sur ton site...

Peut-être dans un but "dis-moi de quels sites viennent tes visteurs et je te dirais qui tu es...et je te mettrais les pubs adéquates."

 

[jeanluc]

les pubs Adesnse sous forme d'annonces thématiques prennent en compte la page où elles sont affichées mais aussi bizarrement dans le lien elle prennent en compte également la page référante à celle de l'afficheur (dans quel but???)

C'est possible que ça vienne de là...
En gros quelqu'un va sur ton site puis clique sur un lien qui l'amène sur un autre site où il y a une publicité Adsense thématique et puis il clique dessus -> du coup Adsense et son robot Mediapartner veulent en savoir plus sur ton site...

Peut-être dans un but "dis-moi de quels sites viennent tes visteurs et je te dirais qui tu es...et je te mettrais les pubs adéquates."

Je pensais que history de JavaScript ne permettait pas de renvoyer ces informations à un serveur d'un autre domaine. Je me trompe ?

Jean-Luc

 

[msba]

et bien vas sur une page où il ya une pub thématique adsense et copie le lien d'un des mots clés thématiques, tu verras dans le lien:

&url= -> l'url de la page où est affichée la pub
&ref= -> le référant de la page où est affichée la pub

le javascript choppe ces infos depuis le domaine où est affichée la pub puis il envoie ça à google via le lien de la pub sur lequel le visteur clique.

 

[jeanluc]

C'est curieux. Si je regarde l'URL d'un lien d'une annonce thématique, j'y vois bien le &url=, mais je n'y trouve pas de &ref=.

Ce ne serait pas systématique ?

Jean-Luc

 

[msba]

On va faire un test alors.

Allons sur cette page en cliquant depuis ce lien: http://www.guidederecherche.com/ (c'est pas à moi, j'ai juste cherché l'adresse d'un membre de WRI qui affichait ce genre de pubs) et tu verras en survolant le lien d'une annonce thématique qu'apparait l'url de cette page du forum webrankinfo

*ttp://pagead2.googlesyndication.com/pagead/ads?client=ca-pub-xxxxxxxxxxxx&dt=xxxxxxxxxx&format=fp_al_lp&output=html&channel=2197593584
&url=http%3A%2F%2Fwww.guidederecherche.com%2F
&ref=http%3A%2F%2Fwww.webrankinfo.com%2Fforums%2Fviewtopic_26406.htm
&u_h=768&u_w=1024&u_ah=768&u_aw=1024&u_cd=32
&u_tz=120&u_nplug=4&u_nmime=156&kw_type=broad&prev_fmts=200x90_0ads_al_s
&rt=ChBCYRZMAA7_awoSWVA7ZAQ6EhBQcmVzc2UgcG9saXRpcXVlGggUjoesb5AtGA&hl=fr

 

[nautiljon]

ah wé, Oki je comprends mieux comment elles marchent ces adsenses.

 

[jeanluc]

On va faire un test alors.

J'ai fait le test.

Avec Opera, j'obtiens :

http: //pagead2.googlesyndication.com/pagead/ads
?client=ca-pub-xxxxxxxxxxx
&dt=xxxxxxxxxxx
&format=fp_al_lp
&output=html
&channel=2197593584
&url=http%3A%2F%2Fwww.guidederecherche.com%2F
&u_h=800
&u_w=1280
&u_ah=747
&u_aw=1280
&u_cd=32
&u_tz=120
&u_nmime=145
&kw_type=broad
&prev_fmts=200x90_0ads_al_s
&rt=xxxxxxxxxxx
&hl=fr

Avec Internet Explorer :

http: //pagead2.googlesyndication.com/pagead/ads
?client=ca-pub-xxxxxxxxxxx
&dt=xxxxxxxxxxx
&lmt=xxxxxxxxxxx
&format=fp_al_lp
&output=html
&channel=2197593584
&url=http%3A%2F%2Fwww.guidederecherche.com%2F
&ref=http%3A%2F%2Fwww.webrankinfo.com%2Fforums%2Fviewtopic.php%3Fp%3D251114
&u_h=800
&u_w=1280
&u_ah=747
&u_aw=1280
&u_cd=32
&u_tz=120
&u_java=true
&kw_type=broad
&prev_fmts=200x90_0ads_al_s
&rt=xxxxxxxxxxx
&hl=fr

On dirait que IE repasse plus d'info à Google qu'Opera.

Jean-LUc

 

[msba]

t'as quelle version d'Opera car j'utilise la 8 beta3 et ça passe les infos du référant au script de google. Il ya aussi que j'ai laissé l'option du "enable referrer logging" dans les "quick preferences" (désolé j'utilise le navigateur en anglais)

 

[jeanluc]

Tu veux tout savoir ... :wink:

Version 7.54
Révision 3865a
Plate-forme Win32
Système Windows XP
Java Java n'est pas installé

et "Informer de quel site vous venez" (Outils / Préférences rapides) n'est pas activé. Ce qui explique tout, je suppose...

Jean-Luc

 

[nautiljon]

Avec Firefox par defaut ça marque le referer aussi comme IE.