Problème d'indexation avec Google - erreur 4xx

paperclips · 29 Juillet 2008

Bonjour,

J'ai un problème avec un site qui m'est impossible d'indexer et je me demandais si certains experts ici pourraient m'aider à comprendre pourquoi.

J'utilise les outils google pour webmaster et il semble bien y avoir un probleme avec ce site:

#############
État de l'index :
Aucune page de votre site ne figure actuellement dans l'index Google. Le processus d'indexation peut prendre du temps. Pour plus d’informations, veuillez consulter les informations Google destinées aux webmasters et les conseils aux webmasters. Aide
Chargement..

Aide
Vous n'avez envoyé aucun sitemap. Transmettez à Google un sitemap incluant les pages que les robots d'exploration risqueraient de ne pas trouver autrement. Créez et envoyez un sitemap répertoriant les URL de votre site et nous vous fournirons des informations relatives à l'indexation de vos pages par Google. Plus d'informations

###############

+ il me dit qu'il a rencontré une erreur 4XX à deux reprises le 25 juillet lors de sa derniere visite et le 14 juillet.

L'URL de mon site est : www.tourdequebec.com

Merci d'avance,

c'est probablement un problème tout simple, mais je n'arrive pas à le cerner. Le site est en ligne depuis 1 an et est indexer dans tous les autres moteurs de recherches.

JM

bozoleclown · 29 Juillet 2008

ton site à quel age ?

paperclips · 29 Juillet 2008

plus d'un an.

Le pire c'est qu'il a déja été indexé puis, toute les pages ont disparues.

JM

bozoleclown · 29 Juillet 2008

ca fait combien de temps que tu as disparu de l'index

car effectivement ca ressemble à un blacklistage
https://www.google.fr/search?q=site%3Aww ... =firefox-a

maintenant si c'est très récent tu peux laisser courir comme ça si tu as rien à te reprocher et normalement ca devrait revenir

si ca fait plus longtemps tu peux tenter une resoumission via google webmasters tools

arobase95 · 29 Juillet 2008

Bonjour,
j'ai connu le même problème, bizarrement, à la même date que toi. Mais je l'ai résolu le problème au bout de 3 jours. Alors voici l'info : jette un oeil sur ton fichier htaccess.
Dès fois que tu aurais tenté de bloquer des adresses IP suspectes, en fait tu aurais interdit à GoogleBot d'accéder à ton site sauf autorisation de ta part.
Alors, si tu as des IP Deny, tu es obligé de tous les supprimer avant de resoumettre ton sitemap à Google. Surtout, renomme ton sitemap, supprime l'ancien qui se trouve dans Google et envoie lui le nouveau sitemap renommé.
Tu verras, tes liens seront à nouveau indexés.
Fais-le avant la GoogleDance qui a déjà commencé, parait-il...

paperclips · 30 Juillet 2008

Bonjour,

voici mon htaccess:

Code:

Options FollowSymLinks
RewriteEngine on
RewriteRule (.+)\.cgi$ /cgi-bin/cgiwrap/djbarboc/$1.cgi
RewriteRule (.+)\.php5$ /cgi-bin/cgiwrap/djbarboc/cgi/php5.cgi/$1.php5

# Index
RewriteRule ^index.html index.php?op=edito

# Account
RewriteRule ^my-profile.html user.php
RewriteRule ^edit-user.html user.php?op=edituser
RewriteRule ^edit-journal.html user.php?op=editjournal
RewriteRule ^edit-my-page.html user.php?op=edithome
RewriteRule ^edit-comments.html user.php?op=editcomm
RewriteRule ^change-theme.html user.php?op=chgtheme
RewriteRule ^logout.html user.php?op=logout

# Forum
RewriteRule ^topic-([0-9]*)-forum-([0-9]*)-ancre-([0-9]*)-page-([0-9]*).html viewtopic.php?topic=$1&forum=$2&ancre=$3&start=$4
RewriteRule ^topic-([0-9]*)-forum-([0-9]*)-page-([0-9]*).html viewtopic.php?topic=$1&forum=$2&start=$3
RewriteRule ^topic-([0-9]*)-forum-([0-9]*).html viewtopic.php?topic=$1&forum=$2
RewriteRule ^forum-([0-9]*).html viewforum.php?forum=$1
RewriteRule ^forum.html forum.php
RewriteRule ^forum-([0-9]*)-page-([0-9]*).html viewforum.php?forum=$1&start=$2
RewriteRule ^mark-forum-([0-9]*).html viewforum.php?op=mark&forum=$1
RewriteRule ^new-topic-([0-9]*).html newtopic.php?forum=$1

# Memberslist
RewriteRule ^memberslist.html memberslist.php
RewriteRule ^pm.html viewpmsg.php

# Print
RewriteRule ^print-([0-9]*).html print.php?sid=$1

# Search
RewriteRule ^search.html search.php
RewriteRule ^search-forum.html searchbb.php
RewriteRule ^search-topic-([0-9]*).html search.php\?topic=$1
RewriteRule ^search-([0-9]*).html search.php\?query=&topic=$1

# Articles
RewriteRule ^article-([0-9]*)-([0-9]*)-([0-9]*).html article.php?sid=$1&mode=&order=$2&thold=$3
RewriteRule ^article-([0-9]*).html article.php?sid=$1
RewriteRule ^article-cat-([0-9]*)-([0-9]*).html articles.php?limit=$1&catid=$2
RewriteRule ^article-cat-([0-9]*).html articles.php?catid=$1
RewriteRule ^add-article.html submit.php
RewriteRule ^comment-([0-9]*)-([0-9]*).html comments.php?op=Reply&pid=$1&sid=$2

# Friend
RewriteRule ^friend.html friend.php
RewriteRule ^send-to-a-friend-([0-9]*).html friend.php?op=FriendSend&sid=$1

# Polls
RewriteRule ^polls.html pollBooth.php
RewriteRule ^poll-result-([0-9]*)-([0-9]*)-([0-9]*).html pollBooth.php?op=results&pollID=$1&mode=&order=$2&thold=$3

# faq
RewriteRule ^faq-([0-9]*)-([0-9]*).html faq.php?myfaq=yes&id_cat=$1&categories=$2
RewriteRule ^faq.html faq.php

# Topics
RewriteRule ^topics.html topics.php

# Sections
RewriteRule ^print-art-([0-9]*).html sections.php?op=printpage&artid=$1
RewriteRule ^rubric-([0-9]*).html sections.php?rubric=$1
RewriteRule ^art-([0-9]*).html sections.php?op=viewarticle&artid=$1
RewriteRule ^section-([0-9]*).html sections.php?op=listarticles&secid=$1
RewriteRule ^sections.html sections.php

# Stats
RewriteRule ^stats.html stats.php

# Top
RewriteRule ^top.html top.php

# T??hargement
RewriteRule ^download.html download.php
RewriteRule ^download-([0-9]*).html download.php?op=mydown&did=$1
RewriteRule ^download-info-([0-9]*).html download.php?op=geninfo&did=$1

# Links
RewriteRule ^sort-cat-by-titlea-([0-9]*)-([0-9]*)-([0-9]*).html links.php?op=viewlink&cid=$1&min=$2&orderby=titleA&show=$3
RewriteRule ^sort-cat-by-titled-([0-9]*)-([0-9]*)-([0-9]*).html links.php?op=viewlink&cid=$1&min=$2&orderby=titleD&show=$3
RewriteRule ^sort-cat-by-datea-([0-9]*)-([0-9]*)-([0-9]*).html links.php?op=viewlink&cid=$1&min=$2&orderby=dateA&show=$3
RewriteRule ^sort-cat-by-dated-([0-9]*)-([0-9]*)-([0-9]*).html links.php?op=viewlink&cid=$1&min=$2&orderby=dateD&show=$3
RewriteRule ^sort-cat-by-ratinga-([0-9]*)-([0-9]*)-([0-9]*).html links.php?op=viewlink&cid=$1&min=$2&orderby=ratingA&show=$3
RewriteRule ^sort-cat-by-ratingd-([0-9]*)-([0-9]*)-([0-9]*).html links.php?op=viewlink&cid=$1&min=$2&orderby=ratingD&show=$3
RewriteRule ^sort-cat-by-hitsa-([0-9]*)-([0-9]*)-([0-9]*).html links.php?op=viewlink&cid=$1&min=$2&orderby=hitsA&show=$3
RewriteRule ^sort-cat-by-hitsd-([0-9]*)-([0-9]*)-([0-9]*).html links.php?op=viewlink&cid=$1&min=$2&orderby=hitsD&show=$3
RewriteRule ^sort-subcat-by-titlea-([0-9]*)-([0-9]*)-([0-9]*).html links.php?op=viewslink&sid=$1&min=$2&orderby=titleA&show=$3
RewriteRule ^sort-subcat-by-titled-([0-9]*)-([0-9]*)-([0-9]*).html links.php?op=viewslink&sid=$1&min=$2&orderby=titleD&show=$3
RewriteRule ^sort-subcat-by-datea-([0-9]*)-([0-9]*)-([0-9]*).html links.php?op=viewslink&sid=$1&min=$2&orderby=dateA&show=$3
RewriteRule ^sort-subcat-by-dated-([0-9]*)-([0-9]*)-([0-9]*).html links.php?op=viewslink&sid=$1&min=$2&orderby=dateD&show=$3
RewriteRule ^sort-subcat-by-ratinga-([0-9]*)-([0-9]*)-([0-9]*).html links.php?op=viewslink&sid=$1&min=$2&orderby=ratingA&show=$3
RewriteRule ^sort-subcat-by-ratingd-([0-9]*)-([0-9]*)-([0-9]*).html links.php?op=viewslink&sid=$1&min=$2&orderby=ratingD&show=$3
RewriteRule ^sort-subcat-by-hitsa-([0-9]*)-([0-9]*)-([0-9]*).html links.php?op=viewslink&sid=$1&min=$2&orderby=hitsA&show=$3
RewriteRule ^sort-subcat-by-hitsd-([0-9]*)-([0-9]*)-([0-9]*).html links.php?op=viewslink&sid=$1&min=$2&orderby=hitsD&show=$3
RewriteRule ^broken-link-([0-9]*).html links.php?op=brokenlink&lid=$1
RewriteRule ^modify-link-([0-9]*).html links.php?op=modifylinkrequest&lid=$1
RewriteRule ^link-edito-([0-9]*).html links.php?op=viewlinkeditorial&lid=$1
RewriteRule ^link-details-([0-9]*).html links.php?op=viewlinkdetails&lid=$1
RewriteRule ^link-comment-([0-9]*).html links.php?op=viewlinkcomments&lid=$1
RewriteRule ^sort-subcat-by-titlea-([0-9]*).html links.php?op=viewslink&sid=$1&orderby=titleA
RewriteRule ^sort-subcat-by-titled-([0-9]*).html links.php?op=viewslink&sid=$1&orderby=titleD
RewriteRule ^sort-subcat-by-datea-([0-9]*).html links.php?op=viewslink&sid=$1&orderby=dateA
RewriteRule ^sort-subcat-by-dated-([0-9]*).html links.php?op=viewslink&sid=$1&orderby=dateD
RewriteRule ^sort-subcat-by-ratinga-([0-9]*).html links.php?op=viewslink&sid=$1&orderby=ratingA
RewriteRule ^sort-subcat-by-ratingd-([0-9]*).html links.php?op=viewslink&sid=$1&orderby=ratingD
RewriteRule ^sort-subcat-by-hitsa-([0-9]*).html links.php?op=viewslink&sid=$1&orderby=hitsA
RewriteRule ^sort-subcat-by-hitsd-([0-9]*).html links.php?op=viewslink&sid=$1&orderby=hitsD
RewriteRule ^sort-cat-by-titlea-([0-9]*).html links.php?op=viewlink&cid=$1&orderby=titleA
RewriteRule ^sort-cat-by-titled-([0-9]*).html links.php?op=viewlink&cid=$1&orderby=titleD
RewriteRule ^sort-cat-by-datea-([0-9]*).html links.php?op=viewlink&cid=$1&orderby=dateA
RewriteRule ^sort-cat-by-dated-([0-9]*).html links.php?op=viewlink&cid=$1&orderby=dateD
RewriteRule ^sort-cat-by-ratinga-([0-9]*).html links.php?op=viewlink&cid=$1&orderby=ratingA
RewriteRule ^sort-cat-by-ratingd-([0-9]*).html links.php?op=viewlink&cid=$1&orderby=ratingD
RewriteRule ^sort-cat-by-hitsa-([0-9]*).html links.php?op=viewlink&cid=$1&orderby=hitsA
RewriteRule ^sort-cat-by-hitsd-([0-9]*).html links.php?op=viewlink&cid=$1&orderby=hitsD
RewriteRule ^search-link.html links.php?op=search&query=
RewriteRule ^link-toprated-sort-percent-([0-9]*).html links.php?op=TopRated&ratenum=$1&ratetype=percent
RewriteRule ^link-toprated-sort-number-([0-9]*).html links.php?op=TopRated&ratenum=$1&ratetype=num
RewriteRule ^link-mostpop-sort-number-([0-9]*).html links.php?op=MostPopular&ratenum=$1&ratetype=num
RewriteRule ^link-mostpop-sort-percent-([0-9]*).html links.php?op=MostPopular&ratenum=$1&ratetype=percent
RewriteRule ^link-([0-9]*).html links.php?op=visit&lid=$1
RewriteRule ^link-subcat-([0-9]*).html links.php?op=viewslink&sid=$1
RewriteRule ^link-cat-([0-9]*).html links.php?op=viewlink&cid=$1
RewriteRule ^rate-link-([0-9]*).html links.php?op=ratelink&lid=$1
RewriteRule ^add-link.html links.php?op=AddLink
RewriteRule ^link-pop.html links.php?op=MostPopular
RewriteRule ^link-toprated.html links.php?op=TopRated
RewriteRule ^link-random.html links.php?op=RandomLink
RewriteRule ^link-recent-([0-9]*).html links.php?op=NewLinksDate&selectdate=$1
RewriteRule ^link-new-([0-9]*).html links.php?op=NewLinks&newlinkshowdays=$1
RewriteRule ^link-recent.html links.php?op=NewLinks
RewriteRule ^links.html links.php

# Reviews
RewriteRule ^comment-review-([0-9]*).html reviews.php?op=postcomment&id=$1&title=$2
RewriteRule ^review-([0-9]*).html reviews.php?op=showcontent&id=$1
RewriteRule ^add-review.html reviews.php?op=write_review
RewriteRule ^reviews.html reviews.php

#derniers post forum
RewriteRule ^lastest-topics.html static.php?op=lastforum.txt&metalang=1

# Map
RewriteRule ^map.html map.php

<Limit GET HEAD POST>
order allow,deny
deny from 66.249
allow from all
</LIMIT>

Tu sembles avoir raison, par quoi je dois remplacer la fin?

arobase95 · 30 Juillet 2008

Bonjour.

Commence par supprimer ceci et resoumets ton sitemap renommé :

<Limit GET HEAD POST>
order allow,deny
deny from 66.249
allow from all
</LIMIT>

En même temps, tu as trop de URL rewritting et Google a dû te dire qu'il y avait trop de redirections. Au delà de 10, GoogleBot n'aime pas.

Quand tu en as un tel nombre, il faut trouver une formule automatisée tenant compte des variables. Je ne sais pas le faire mais tu peux trouver des exemples sur le Net.

Voici un site où tu trouveras la liste des IP de GoogleBot : http://www.robots.darkseoteam.com/adres ... glebot.php
Et le 66.249 fait partie des ip de googlebot. D'où ton problème ...