Lenteur d'indexation?

[LaurentW]

Hello tous,

J'ai l'impression que la stratégie d'indexation de nouvelles pages a changé. J'ai vu d'autres posts dans cette section du forum avec des personnes qui remontent un problème similaire mais ce sont pour la plupart des nouveaux sites.

Vous avez constaté la même chose?

J'ai par exemple lancé quelques nouvelles pages le 23 janvier et à ce jour, ces pages n'ont toujours pas été indexées. Je vois par contre que Googlebot est passé sur un certain nombres d'autres pages entre le 23 et aujourd'hui. Les nouvelles pages sont bien dans mon sitemap et avec une priorité plus haute que toutes les autres mais cela ne semble avoir aucun effet.

J'ai acheté un peu de trafic pour d'une part voir si il existait du trafic et d'autre part pour voir si Google allait considérer que ma page devait être indexée. Après 3 jours de trafic payant, je constate que:
- le trafic existe
- le trafic est relevant pour les pages en questions (CTR élevé, bounce peu élevé)
- le test des pages non indexées dans la search console ne montre aucun problème de santé

Ce genre de chose est vraiment problématique pour accompagner le lancement de produit à une date définie. Avant mes pages passaient dans l'index en maximum 24h. Je vois que mes concurrents publient des pages "squelette" (avec peu de contenu) bien avant le lancement de produits, je suppose qu'ils font ça pour être sûr d'être dans l'index le jour du lancement mais cela a pour conséquence que les résultats Google sont pollués par des pages de ce type.

Est-ce que j'ai loupé un épisode quelque part? Est-ce qu'un core update a eu lieu récemment?

Merci

 

[emualliug]

L'indexation de google fonctionne moins bien depuis bien un an, voir un an et demi, je le trouve particulièrement mauvais pour sélectionner les pages à consulter : consultations de pages anciennes qui ne sont pas indiquées comme mises à jour dans le sitemap, et à côté de ça, ignore des nouvelles pages pourtant référencées dans le sitemap et avec des liens.

J'ai comme ça quelques URL que google n'a pas la curiosité même d'aller consulter ("Détectées, actuellement non indexées", une analyse des logs me confirme que le robot ne s'y est jamais rendu), et certaines depuis des mois. Pas d'impératif à les voir indexer, je ne lui ai donc pas demandé de le faire "à la main", j'attends de voir.

Google prétend faire du crawl prédictif, c'est-à-dire estimer si une exploration est opportune avant de le faire. Mais je trouve que c'est globalement raté.

Pour le site dont je parle (quelques centaines d'URL), presque toutes celles référencées dans le sitemap (celles qui ne sont pas dans le sitemap sont des pages en no-index) sont indexées lorsqu'elles ont été explorées, autrement dit, du point de vue de Google, il s'agit de pages méritant d'être indexées.

Je précise au passage que, globalement, tout est au vert sous speedinsight (> 90 pour les mobiles), l'état de l'hôte d'après la SearchConsole est sans soucis également, le temps de réponse moyen est de l'ordre de 500ms etc.

Malgré tout certaines pages sont "boudées". Le seul reproche pourrait être un défaut de lien externe, mais rien qui, à mon sens, ne doive justifier un défaut de crawl. D'ailleurs Google est le seul, les pages sont normalement explorées par Bing ou Yandex (pour ce que ça vaut).

À noter, qu'une page rétive à l'exploration le demeure généralement assez longtemps. Comme je le disais, certaines pages n'ont jamais été explorées alors qu'elles sont en place depuis des mois, d'autres pages plus récentes ont été indexées depuis.

Pour en revenir à tes tentatives, la priorisation par le sitemap est ignorée par Google (source), voir cet article de 2015 qui dit la même chose pour la fréquence de modification.

Je suis circonspect qu'on puisse "acheter" du trafic dans l'optique de booster le SEO. N'y vois aucune méchanceté de ma part, mais je ne parviens pas à saisir quel raisonnement font ceux qui supposent qu'un trafic acquis peut aider au référencement et à l'indexation d'une page ?

Comment même un moteur de recherche pourrait avoir connaissance du trafic de ton site ?

 

[LaurentW]

merci pour le partage!

Mon site a environ 900 URLs indexées, on doit donc plus ou moins être dans la même situation. Je m'occupe de quelques sites plus gros pour mon boulot principal et je n'ai jamais remarqué ce genre de problème, l'indexation est toujours très rapide et pourtant le contenu n'est pas meilleur et techniquement, c'est moins bon aussi. Google s'en fout littéralement des critères habituels de qualité.

Un lien entre le SEO et SEA? Je ne pense pas qu'il y ait un lien "mécanique" entre les deux, il y a par contre un lien psychologique. Si tu pousses un contenu par le SEA et qu'ensuite tu te retires, des visiteurs vont rechercher ton site pour retrouver ce contenu (si ils ont aimé le contenu évidemment) et ça par contre, cela donne un bon signal au niveau SEO. J'ai déjà vécu ce genre de situation à plusieurs reprises mais ici ce n'était pas mon objectif, je me demandais si Google allait indexer mon URL plus vite en voyant le lien entre trafic et qualité de la page mais ça n'a rien donné. Si le crawl prédictif de Google fonctionnait correctement, il aurait du détecter un signal fort.

 

[WebRankInfo]

J'ai l'impression que la stratégie d'indexation de nouvelles pages a changé

En effet elle a changé, comme emualliug l'a indiqué, Google a décidé de faire des économies et d'indexer moins de pages qu'avant. Et même de crawler moins de pages, ça réduit bien la facture (les pauvres, ils doivent se rationner)... On est passé au crawl prédictif, basé sur l'IA, avec tous les problèmes d'imprécision que cela comporte.

J'ai alerté sur ce changement en 2020 (bien avant tout le monde au passage). J'ai détaillé ici ma méthode pour faire indexer les pages (et fourni une version light dans cette checklist). Mon point de vue : on ne doit pas travailler spécifiquement pour faire crawler/indexer une page, ça doit faire partie d'un process global visant à obtenir une forte visibilité dans Google, pour un trafic qualifié.

avec une priorité plus haute que toutes les autres mais cela ne semble avoir aucun effet

Je confirme que Google ignore l'attribut de priorité dans les sitemaps

je me demandais si Google allait indexer mon URL plus vite en voyant le lien entre trafic et qualité de la page mais ça n'a rien donné

On a déjà remarqué que cela pouvait avoir un impact pour inciter Google à crawler, mais peut-être faut-il un plus gros volume de trafic. Et je ne parle pas d'un trafic payant, il faut surtout que ce soit fait dans Chrome pour que Google le repère.

 

[emualliug]

Un lien entre le SEO et SEA?

C'est plus logique dit comme ça. J'ai vu ça-et-là des prestataires qui vendent (ou échangent) du trafic directement vers des pages, donc sans la partie "SE". Je pensais qu'il s'agissait de cela.

Sur le papier Google dit faire une séparation entre la promo et le classement du référencement naturel. Je ne pense pas que

Si le crawl prédictif de Google fonctionnait correctement, il aurait du détecter un signal fort.

Je ne suis pas le seul à penser que le crawl prédictif entraîne un défaut d'indexation de pages pourtant pertinentes. On parlait d'ailleurs sur ce forum de la mise en place d'un formulaire par Google pour signaler une absence d'indexation. Il me semble que c'est toujours limité aux US.

Je vais être cynique, mais cet état me semble être la conséquence de l'hégémonie de Google sur les moteurs de recherche. Il y a une quinzaine d'année, peut être même un peu moins, avoir le plus large index était un argument pour un moteur de recherche : on pouvait y trouver des informations qui n'existaient pas ailleurs. Aujourd'hui internet est devenu tellement vaste que tout indexer est illusoire et pour partie inutile (peu d'information unique), et puis Google n'a plus tant d'intérêt à y consacrer d'importantes ressources, il est seul, ou presque sur le marché. Sans doute ont-ils estimés nécessaire de crawler d'autres types de contenu (de l'actualité chaude par exemple) qui va générer plus de requêtes que des pages lambda qui, si elles ne sortent pas lors d'une requête, ne frustreront pas l'utilisateur puisqu'il n'aura pas connaissance de son absence.

 

[LaurentW]

C'est la première fois que je suis affecté par ce problème et c'est vraiment problématique car j'ai des engagements que je ne peux plus tenir. Je m'y suis pris plus d'une semaine à l'avance pour publier mon article sur un lancement de produit et une semaine après le lancement, cet article n'est toujours pas indexé.
Et évidemment aucun recours possible...

Le volume existe pourtant (quelques milliers de requêtes par jour), j'ai pu le vérifier avec le trafic payant et tout ce volume va maintenant chez les grosses enseignes car je ne peux pas payer ma présence sur une longue durée.

Je trouve que Google détruit de la valeur sur le web en favorisant les grosses enseignes et leur contenu commercial et formatté. J'ai géré de nombreux gros sites, je vois donc l'autre côté de la barrière aussi. Le web en tant qu'outil n'a jamais été aussi accessible et abordable pour quiconque veut créer une présence mais au bout de la route, il y a le jugement de Google.

 

[WebRankInfo]

as-tu essayé de forcer l'indexation de cette page avec des outils payants ?

as-tu plein de liens internes vers cette page, présents depuis le jour où elle a été mise en ligne ?

 

[LaurentW]

oui j'ai de nombreux liens internes vers la page, probablement une cinquantaine, c'est un processus automatique. J'ai demandé l'indexation manuelle dans la search console mais non je n'ai pas testé un service payant, je ne savais même pas que ça existait. Ca fonctionne vraiment ce genre de chose?

 

[LaurentW]

voilà, ma page a été indexée...avec presque 14 jours après publication

 

[wollastoni]

Oui certains services payants d'indexation fonctionnent très bien, cf mon article avec quelques exemples concrets : https://investisseur-digital.com/page-detectee-non-indexee-solution/

Je dirais que c'est inutile pour un site de qualité non monétisé. Vos pages finiront par être référencées et vous n'êtes pas pressé.

Pour un site monétisé, les services payants d'indexation ont beaucoup d'avantages :
- rentabilité de la page dès le jour 1 (versus 1 à 6 mois avec le crawl prédictif de Google)
- possibilité sur les requêtes liées à l'actualité d'être référencé dès le jour 1
- être en avance sur les autres concurrents sur la même niche.
- possibilité d'indexer rapidement même un site neuf (on évite la sandbox Google).

 

[anguenot.com]

wollastoni,
C'est intéressant. Au moins, ça change du discours officiel feutré de la plupart des agences SEO

Même si parfois ça peut sembler un peu rock-n-roll:
"Si des centaines d’utilisateurs de Chrome visitent votre page et bien Google considèrera que votre contenu a de l’intérêt et décidera de l’indexer".

Ca se tente, mais ton chapeau s'assombrit

 

[wollastoni]

Et oui, Chrome est désormais un outil d'indexation pour Google.
Un gros trafic (même de qualité pourrie) via Chrome suffit à indexer une page en 24 (technique Evadav dans mon article) si votre contenu est ok.

Comme précisé, ces techniques servent à indexer en 24h les contenus de qualité ! Ceux qui auraient été indexés avant l'introduction du crawl prédictif. Ces techniques ne servent pas à indexer du duplicate content, de la bouillie, ou autre. Cela marche parfois, mais pas à 100% et l'indexation peut sauter dans le futur. Ce qui n'est pas le cas avec les contenus ok.

 

[LaurentW]

Ce type d'activité n'est sans doute pas encore très développée car je ne suis pas sûr que Google apprécie ce genre de démarche, ça va à l'encontre de leur algo prédictif. Je comprends la logique business derrière mais pas sûr de vouloir tenter ma chance.

 

[WebRankInfo]

cf mon article

Merci de ne pas utiliser ce forum pour faire ta promotion...

 

[anguenot.com]

@wollastoni : "Ces techniques ne servent pas à indexer du duplicate content, de la bouillie, ou autre". Ca va sans dire ! vade retro satanas ! De toutes façons je n'ai pas de ça chez moi

je précise que wollastoni et moi ne nous connaissons pas. Je ne suis pas intervenu dans cette discussion pour organiser la promo de son site, mais par curiosité, et + si affinités. Si les modérateurs du forum jugent que cette discussion tourne à la promo, je m'arrête là.

 

[Marie-Aude]

Un gros trafic (même de qualité pourrie) via Chrome suffit à indexer une page en 24 (technique Evadav dans mon article)

La technique est dangereuse. Le taux de rebond fait partie des signaux qualitatifs importants. C est se tirer une balle dans le pied à moyen terme

 

[wollastoni]

Marie-Aude : je préfère en effet la technique numero 1 (celle que je recommande)

Neanmoins sur votre point sur la numero 2 : il est juste mais :
- vous allez avoir un haut taux de rebond pendant 3 heures
- votre page de qualité sera indexée en une journée
- une fois indexée, vous aurez un trafic organique de qualité (puisque votre contenu est de qualité)
Et cela pendant des années.
Votre taux de rebond sera excellent dès votre page indexée, bref au bout d’une journée. Google sera ravi.

 

[anguenot.com]

Et si j'égorge un poulet en direct sur ce forum, ça marche encore mieux ?

 

[Marie-Aude]

L'indexation n'est pas le positionnement en haut des serps, et ne signifie pas "beaucoup de visites" d'un coup

 

[wollastoni]

L'indexation n'est pas le positionnement en haut des serps, et ne signifie pas "beaucoup de visites" d'un coup

Evidemment. Tout dépend de la compétitivité de votre niche et de la qualité de votre contenu. Si niche pas trop chargée, vous pouvez entrer directement en page 1.

 

[wollastoni]

La technique est dangereuse. Le taux de rebond fait partie des signaux qualitatifs importants. C est se tirer une balle dans le pied à moyen terme

Si dépenser 50 cents faisait chuter votre site dans les serps, vous imaginez bien qu’on dépenserait tous 10€ pour dégommer les concurrents dans nos niches. Evidemment cela ne marche pas.
Google regarde le taux de rebond du trafic organique pas celui du trafic publicitaire... sinon ce serait trop simple de flinguer ses concurrents...

 

[poupilou]

Même chose pour moi, j'ai crée des nouvelles pages il y a 2 mois et elles ne sont toujours pas indéxées.

Elles sont présentes dans la GSC (dans "Détectée, actuellement non indexée") mais elles ne sont toujours pas indéxées après 2 mois

 

[LaurentW]

Tu as essayé de faire du Google Ads pour voir si il y avait du volume?
Pour ma part, j'ai constaté que mes pages s'indexaient en fonction de la réaction de mes concurrents (bcp plus gros que moi). C'est encore une preuve que Google ne laisse volontairement que des miettes aux petits acteurs.

 

[WebRankInfo]

Je ne suis pas certain d'avoir compris le rapport avec Google Ads, mais pour ma part je n'y crois pas.

Par contre, si Google (Chrome) voit plein de monde sur une page qu'il n'a pas encore indexée, ça l'incite à l'indexer (mais ce n'est pas du tout une garantie).

 

[poupilou]

C'est tout de même incroyable qu'un moteur de recherche dont la fonction première est d'indéxer (et de désindéxer) des pages soit incapable de faire ce job dans un temps acceptable. Ils ont embauché des neuneux chez Google ? N'importe quel informaticien débutant serait capable de coder cela :

- si l'url de la page que je viens de trouver/crawler est indéxable, si elle n'est pas présente dans notre base de données et si elle est conforme à nos guidelines alors on l'indéxe.

D'autant plus lorsqu'on sait que ce foutu moteur de recherche est géré par l'une des société les plus capitalisée au monde ce n'est donc pas une question de fric, ni de moyens... mais une question de volonté.

 

[LaurentW]

le lien avec Google Ads c'est que ça permet de vérifier si il existe du volume pour le sujet de la part. Le principe de base de cette "nouvelle" façon d'indexer c'est que Google ne veut pas se fatiguer à indexer des pages pour lesquelles il n'y a pas de volume.

Quand j'ai ouvert le topic, j'avais acheté du trafic sur Google Ads pour constater que le volume existait vraiment. Ce n'est pas l'achat dans Google Ads qui a provoqué l'indexation, c'est l'arrivée des concurrents sur le même sujet sans que le volume ne change de façon radicale.

 

[WebRankInfo]

ce n'est donc pas une question de fric

je pense pourtant que c'est une des raisons possibles. Crawler et indexer n'est pas neutre en termes de coûts, alors si un algo détermine que la page n'apporte pas grand chose en qualité pour les SERP, Google prend tout son temps pour l'indexer.

 

[poupilou]

le lien avec Google Ads c'est que ça permet de vérifier si il existe du volume pour le sujet de la part.

Pour ma part, il y a du volume sur les sujets de mes pages qui en sont pas encore indéxées.

 

[poupilou]

je pense pourtant que c'est une des raisons possibles. Crawler et indexer n'est pas neutre en termes de coûts, alors si un algo détermine que la page n'apporte pas grand chose en qualité pour les SERP, Google prend tout son temps pour l'indexer.

Si Google arrêtait de crawler des pages que l'on souhaite désindéxer depuis des années ça lui laisserai du temps pour crawler et indéxer de nouvelles pages (ça fait des années qu'il continu de crawler certaines de mes anciennes url en http malgré toutes les redirections mises en place vers le https). Le problème de Google c'est qu'il est aussi nul et lent pour indéxer que pour désindexer une page.

 

[wollastoni]

Google Ads fonctionnera pour indexer rapidement un contenu de qualité comme les méthodes qui forcent du trafic via Chrome.
Mais cela reviendra beaucoup plus cher que les méthodes exposées précédemment dans ce sujet.

 

[WB-001001]

Je suis dans la même situation : j'ai 2 sites, l'un avec 1000 pages dont 40 % n'ont que quelques semaines mais avec seulement 420 indexées. Ces pages ont été écrites et sont de qualité correctes. Le site fait 10k visites / mois, c'est peu mais le site n'a que 15 mois.

Un 2ème site qui a le même souci avec 70 pages non indexées vs 400 indexées. Il marche pas mal avec + 40 % de trafic annuel et 20k visites par mois. Mais avoir 20 % du contenu non indexé, ça fait mal, tant d'€ et d'h perdues...

Contrairement à mes concurrents, je n'ai rien fait de crade niveau netlinking et n'ai pas bcp travaillé ça.
Que pensez-vous et quelles solutions me préconiseriez-vous ? Un truc genre evadav, autre, attendre (mais combien de temps ?) ?

Récemment j'ai ajouté Rank Math instant indexing, ça n'a rien changé, et j'améliore mon maillage interne. Mais le pb susiste.
A savoir que quasi 100 % de mes pages crawlées ont bien été indexées.

Merci de votre aide

 

[LaurentW]

je n'ai rien fait en particulier à part faire un peu d'Adwords pour voir si il y avait du volume et il y avait quelques centaines de requêtes par jour à capturer. J'ai remarqué que l'indexation s'est faite au même moment que mes concurrents qui ont publié leurs articles au moins 2 semaines après moi et là je me suis hissé en 3è ou 4è places comme d'habitude. Mes concurrents sont beaucoup plus gros que moi ce sont des sites avec plus de 10 millions de visiteurs par mois et Google semble accorder de l'intérêt plus rapidement lorsque les gros sites publient leur contenu.

 

[WebRankInfo]

Peux-tu indiquer les noms de domaine @WB-001001 ?

 

[WB-001001]

Mon site avec le plus de problème est https://www.choixlib.com/ .
Merci

 

[crows-zero]

je rencontre le même probleme avec l'un de mes site serte un peu récent ( 6 mois d'âge) mais j'arrive pas a le faire indexé bizarre lien