Analyse d'une liste d'URL orphelines

[Nydda]

Bonjour à tous,

j'ai une liste d'URL orphelines : des produits qui ne sont plus vendus sur le site, mais toujours indexables pour Google (via le sitemap notamment).
Comme elles ne sont plus proposées à la vente sur le site, je ne peux pas les analyser via un crawl classique
Je ne peux donc pas analyser leurs liens sortants (je voudrais nettoyer les 301 et 404).

- Je n'arrive pas à trouver un outil (gratuit éventuellement) qui ferait ça : j'ai tenté Screaming frog, sans succès... En connaîtriez-vous un ?
- Plusieurs sites (Materiel.net, LDLC...) laissent indexables des produits qui ne sont plus vendus depuis des années. Que pensez-vous de cette pratique, étant donné que ces pages ne doivent quasiment plus être actives en termes de trafic ou d'impressions...

Thierry

 

[Jeanne5]

j'ai tenté Screaming frog, sans succès... En connaîtriez-vous un ?

Quel est le problème avec Screaming frog ? (Il répond très bien à votre besoin).

Que pensez-vous de cette pratique, étant donné que ces pages ne doivent quasiment plus être actives en termes de trafic ou d'impressions...

https://www.webrankinfo.com/dossiers/ranking-metrics/pages-zombies

 

[WebRankInfo]

Je conseille de supprimer ces pages, dont les URL renverront un code 404 ou 410.
Si possible, faire une personnalisation de la page d'erreur, avec des explications sur le cas de figure (ce produit n'est plus vendu/disponible) et des liens vers des produits équivalents.
Vérifier qu'il n'y a plus aucun lien interne vers ces URL (un simple crawler suffit, genre Xenu en gratuit, ou ScreamingFrog si moins de 500 URL, sinon un crawler SEO comme le mien)

Si jamais une de ces pages reçoit des bons backlinks, alors une 301 est préférable, pointant vers la catégorie mère.

Les produits qui ne sont plus vendus ne sont qu'une partie des pages orphelines. Sur un site ancien, il peut y avoir plein d'autres cas de figure. C'est pourquoi j'ai développé un outil qui trouve ces pages orphelines en étudiant le crawl (suivi des liens internes) + Google Analytics + Google Search Console.

 

[Nydda]

Bonjour à Jeanne et WRI,

Tout d'abord merci pour vos réponses.

1/ Concernant Screaming Frog, il me demande d'acheter une licence à la moindre manipulation (même avec un Excel de 50 URL). Mais venant de découvrir l'outil, je m'y prends peut-être mal. Dans mon cas, pourriez-vous m'indiquer dans quel menu vous iriez ? (L'objectif est d'analyser les liens externes sortants d'une liste d'URL donnée).

2/ Ce ne sont pas des pages en 404 ou 500, mais bien en 200 avec une mention "Ce produit n'est plus disponible". Exemple chez Materiel.net : https://www.materiel.net/produit/201607060013.html.
Cette pratique est similaire chez LDLC. Ces sites accumulent au fil du temps une quantité énorme de "Pages zombies" (souvent avec du contenu dupliqué entre fiches produits similaires), mais restent pourtant très bien positionnés. Sur mon site j'ai supprimé/désindexé les "pires" (via RM Tech), mais j'ai du mal à passer le cap de désindexer des milliers de pages patiemment rédigées par mes soins

 

[Jeanne5]

1/ Pour screaming frog je crois qu'on peut aller à 500 url gratuitement. https://www.screamingfrog.co.uk/seo-spider/

Je mettrai "Mode -> list" dans le menu du haut
Puis tu cliques "Upload" et tu peux même mettre les url à la main avec un "copier-coller"

2/Ce n'est pas bien ce que font LDLC et Materiel.net mais ils profitent sûrement de leur aura (et surtout des backlinks) pour passer outre ça.

La question est de savoir si ces pages génèrent des visites depuis disons 1 an.
Si la réponse est non => pas de regret à les supprimer au pire tu stockes la rédaction quelque part pour plus tard (des morceaux peuvent peut-être réutilisés). Je sais c'est du de jeter son travail...

 

[Nydda]

1/ Top, j'obtiens exactement ce que je veux

2/ OK, donc selon toi le bénéfice de se libérer de ces pages "zombies" >>>> sur le fait de perdre soudainement énormément de contenu ? Ça équivaut à environ 5000 produits hors catalogue, pour 3000 produits en vente, j'ai un peu peur de la réaction de Google

 

[Jeanne5]

Est-ce que ces pages génèrent des visites en provenance des résultats naturels ?

 

[Nydda]

Quasiment pas. D'un point de vue trafic/impressions je n'ai aucun souci à supprimer. C'est plus d'un point de vue contenu
Si Google voit qu'il n'y a pas beaucoup de trafic sur une page avec un contenu pourtant hautement qualitatif (imaginons que ce soit possible ), il considérera quand même cette page comme un boulet//zombie ?
Ou il pourrait se dire "Bon OK il n'y a pas beaucoup de trafics, mais il a fait un sacré effort et il y a du contenu, j'aime quand même"

 

[Nydda]

Je suis en train de mettre ces produits hors catalogue en 404 (pas de backlinks à récupérer)
- Quand le Googlebot va voir le nouveau sitemap sans toutes ces URL, il va vouloir "comprendre" pourquoi et aller y jeter un oeil ? Ou il faut absolument envoyer un sitemap avec toutes les URL hors catalogue pour qu'il aille les crawler ?
- Une fois qu'il voit qu'elles sont en 404, combien de temps met-il à les désindexer ? (J'ai lu des durées variables)
- La suppression "manuelle" sur GSC ne me semble pas très efficace, même pour masquer les résultats 90 jours : c'est utile de se taper des centaines de suppressions manuelles, ou pas vraiment ?

 

[WebRankInfo]

il va vouloir "comprendre"

non, il est trop bête !

il faut absolument envoyer un sitemap avec toutes les URL hors catalogue pour qu'il aille les crawler ?

ça peut aider à accélérer le crawl des 404 (mais leur prise en compte c'est une autre histoire) et à faire un suivi de leur désindexation (en filtrant le rapport de couverture avec ce sitemap de désindexation)

combien de temps met-il à les désindexer ?

des semaines, des mois

La suppression "manuelle" sur GSC ne me semble pas très efficace

chez moi elle marche très bien, en 12 à 24h maxi. Si les URL sont en 404 ou en noindex, ce n'est pas temporaire mais définitif