Optimisation de ROBOTS.TXT et blog WordPress

[Argel75]

Bonjour,
j'ai trouvé sur internet un fichier robots optimisé pour les blogs sous wordpress.
Me demandant ce que vous pouviez en penser je l'ai ajouté sur mon nouveau site http://www.videosdunet.fr
A priori il devrait référencer au mieux mon site sur google et empecher le duplicate content.
Qu'en pensez vous :

User-agent: *
Disallow:
Disallow: /wp-
Disallow: /feed/
Disallow: /trackback/
Disallow: /cgi-bin
Disallow: /rss/
Disallow: /comments/feed/
Disallow: /date/
Disallow: /archives/
Disallow: /page/
Disallow: /comments
Disallow: */comments
Disallow: /author/
Allow: /wp-content/uploads

User-agent: Googlebot
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$

User-agent: Googlebot-Image
Disallow:
Allow: /*

Sitemap: http://www.videosdunet.fr/sitemap.xml

Par avance, Merci

 

[Rod la Kox]

http://www.wordpress-fr.net/support/
...par exemple ?

 

[Argel75]

Désolé j'ai pas compris le message ?

Faut que je pose la question sur un autre forum ? Pourquoi pas dans sur forum spécialisé dans le référencement, c'est quand même le but final de ma question... ?

 

[screuscreu]

http://www.wordpress-fr.net/support/
...par exemple ?

Je trouve les réponse bien peu courtoises sur WRI aujourd'hui ...
Pas forcement ici en particulier ... mais c'est déjà la 3ème fois que je me fait la remaque aujourd'hui .... Quelquechose à plombé le moral de tout les WRInautes aujourd'hui ? J'ai loupé qqch ? :wink:

 

[Audiofeeline]

Seule la ligne suivante peut être utile :

Disallow: /wp-admin

Le reste ne sert absolument à rien sinon à empêcher les moteurs de visiter toutes tes pages...

 

[Argel75]

Mais à priori et d'après ce que j'ai compris, sur un blog Wordpress on peu retrouver plusieurs fois le meme contenu à partir des archives, des tags, des catégories... ce qui a pour incidence le duplicate content.

C'était justement pour éviter que les moteurs de recherche indexe toutes mes pages, mais je lui donne quand meme l'adresse de mon sitemap pour les indexer correctement.

C'est peut etre totalement faux ce que je dis !?

 

[Audiofeeline]

Pas totalement mais il vaut mieux éviter le duplicate sur le site plutôt que ne pas indexer les pages.
Attend déjà de voir comment Google va indexer ton site, s'il y a des pages ignorées tu pourra penser à optimiser à ce moment là.

 

[Argel75]

Autre chose, dans les outils google pour admin j'ai quelques erreurs :
- 2 erreurs HTTP qui viennent d'un plugin /wp-content/plugins/wp-postratings
- 5 erreurs 404

Pour les erreurs 404 j'ai crée une nouvelle page pour rediriger les visiteurs.
Pour les erreurs HTTP j'aimerais pouvoir résoudre le problème en interdisant l'acces de google au dossier plugin...

 

[Rod la Kox]

Je trouve les réponse bien peu courtoises sur WRI aujourd'hui ...

Pourquoi ?
Parce que c'est difficile de le demander sur un forum spécialisé ?

Lorsque j'ai un soucis avec pbpbb, je vais sur le forum officiel de phpbb... Et je suis sur de trouver ma réponse.


Ici, ce n'est pas un forum spécifique worpress, donc, même si certains peuvent avoir la réponse, mieux vaut aller directement au bon endroit.


Et je précise qu'il n'y a aucune méchanceté dans ma réponse, je donnais juste le lien qui va bien pour poser la question... :roll:

 

[screuscreu]

Et je précise qu'il n'y a aucune méchanceté dans ma réponse, je donnais juste le lien qui va bien pour poser la question... :roll:

Je n'ai jamais parlé de méchanceté mais de courtoisie.... c'est bien différent à mon goût !
Je précise aussi que ce n'était pas forcement que dans ce post ... donc ne le prends pas que pour toi !

 

[Audiofeeline]

Autre chose, dans les outils google pour admin j'ai quelques erreurs :
- 2 erreurs HTTP qui viennent d'un plugin /wp-content/plugins/wp-postratings
- 5 erreurs 404

Tout ça n'est pas bien grave, par contre il doit être possible de mettre un .htaccess dans le dossier de plugin pour bloquer l'accès, nan ?

 

[Argel75]

Je pense que c'est faisable oui.
Mais est que c'est embetant d'avoir des erreurs HTTP et 404 ( alors que j'ai créer une page spéciale 404 ) pour le référencement ?

 

[Audiofeeline]

C'est Google qui est trop curieux. :lol:

 

[Vverger]

Bonjour,
je remonte ce vieux poste car j'ai une question qui rejoint celle d'origine.
Pour ma part je suis tombé sur ce fichier :

User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
[b]Disallow: */trackback
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.txt$[/b]
Allow: /wp-content/uploads
User-agent: Googlebot-Image
Allow: /
User-agent : Medipartners-Google
Allow: /
Sitemap: URL-de-votre-sitemap

Ma question est pourquoi empêcher Google d'indexer les trackbacks et les .php .js..etc...


Aussi, est-ce que Google prend en duplicate content que ce qu'il a indexé ou tout ce qu'il a crawler?
Par exemple, avec Disallow: /archives/
Google ne va pas indexer les archives, les articles dans l'archive ne seront donc pas un contenu dupliqué dans l'index de Google. Mais ça n'empêche pas que cette archive existe belle et bien et que le contenu est quand même dupliqué...

Merci

 

[Vverger]

Personne pour m'aiguiller ?