Où sont les bots (sur l'air d'Où sont les femmes ;-) )

[dbourrion]

Bonjour à toutes et tous.

Je travaille dans une Bu et nous avons exporté tout notre catalogue (un catalogue de bibliothèque n'est en général pas crawlable) en une arborescence web que les bots peuvent crawler, justement. Ce catalogue est là : http://catalogue.univ-angers.fr/

Cette arborescence est exposée sur un serveur apache, avec un sitemap propre et ok selon Google Webmasters Tools.

Et les bots Googe ont bien trouvé et le sitemap, et l'arborescence, puisqu'ils indexent les pages en question.

Mais (car il y a un mais) seule une toute petite part de l'arborescence a été indexée (17000 URLs là où nous en exposons 400000), d'une part ; et les bots passent très rarement, d'autre part (les statistiques de Google Webmasters Tools montrent une activité très très pépère de la part des bots).

Donc (vous me voyez venir) : comment puis-je faire pour accélérer la cadence et donner un peu de coeur à l'ouvrage aux bots ?

Merci par avance de votre aide et de vos conseils.

 

[saypee]

Bonjour,
avoir des liens qui pointent vers vos pages dont le contenu est regulierement (si possible) mis à jour et surtout interressant pour l'internaute.

 

[dbourrion]

Hum... merci de cette piste mais pas simple à faire dans le cas d'un catalogue de bibliothèque (il y a quand même plus de 300 000 références dans ce catalogue...)

 

[bruno212]

Bon, depuis combien de temps le sitemap est en place ?

Avez-vous des statistiques sur l'augmentation du nombre de page indexées ?
Si celui-ci augmente, vous êtes sur la bonne voie, laissez à Google le temps d'indexer le catalogue. Il ne va pas indexer les 400 000 pages d'un coup.

Peut-être qu'une simplication des URL via une réécriture pourrait améliorer l'indexation des notices du catalogues:

Remplacer

http://catalogue.univ-angers.fr/F/DDNY6XJBVKYDM12H6QFJ87PLD92DEQ75CPMGJVCIN2E9BNRD8L-25642?func=full-set-set&set_number=000906&set_entry=000001&format=999

par

http://catalogue.univ-angers.fr/uid-756466475

en créant une référence unique dans la banque de données pour chaque objet.

C'est une piste à explorer

 

[Madrileño]

Bienvenue dbourrion sur le forum de WebRankInfo.

Comme l'explique d'autres membres il faut un peu de temps pour l'indexation des pages.
Il faut aussi que les pages soient considérées par Google comme étant intéressantes.

Complément :
https://www.webrankinfo.com/forum/f/url-rewriting-et-htaccess.12/ .

Les membres (qui le souhaitent) se présentent.

N’hésitez pas dbourrion à participer sur le forum, pour partager vos connaissances, donnez votre avis sur d'autres topics,
vous aurez alors un rôle constructif dans notre communauté et chacun pourra ainsi évoluer dans le référencement.
Source : https://www.webrankinfo.com/forum/t/sur-wri-on-dit-merci.98269/ .