crawl (exploration)

  1. E

    Arrivez-vous encore à crawler ?

    Je le fais de temps en temps, pour vérifier que je n'ai pas de liens cassés ou autres problèmes. Mais cela devient de plus en plus difficile, et de plus en plus lent. Mon site compte 50000 URIs et je suis sur un VPS avec 16 Go de RAM. Je me demande si c'est le serveur qui est lent ou mes...
  2. nicolo

    Elément Data Target URL est-il suivi par Google ?

    Bonjour à tous, Petite question ultra rapide : j'ai cet élément data-target-url dans ce 2 lignes de codes (prises séparément) ci-dessous, pouvez vous me dire si Google crawlera normalement (et aussi facilement qu'un <a href=) les 2 url que j'ai mise en rouge ? <label for="field-choice-bio"...
  3. M

    Comment simuler un passage de Google bot ?

    Bonjour à tous, Je viens de créer des pages qui se trouvent en pré-prod, mais j'aimerais savoir comment Google va les crawler dans la mesure ou il y a du JS dessus. En gros, l'internaute peut lire une partie de mon contenu mais une parte du texte est masqué par un encart demandant au lecteur...
  4. planhub

    Problème : Google Crawl et Index des pages en No Index et bloqué par le robot.txt

    Bonjour à tous, Voici l’url de mon site : https://www.planhub.ca J’ai un problème d’indexation sur un type de page (l’url est la suivante : mondomaine.com/en/go?xxxxx) que je ne souhaite pas faire indexer par les robots. J’ai bien mis en place les processus habituels pour éviter ça ...
  5. S

    Détectée, actuellement non indexée, Etat: exclues

    Bonjour, les pages de mon site internet https://harmonny-evolution.systeme.io ont été soumises à la search console mais ce message s'affiche: L'indexation via bing web master tools a elle bien fonctionné. Pouvez vous m'aider svp?
  6. R

    Budget Crawl Google pour un gros site

    Bonjour à tous, Je suis en charge d'optimiser le SEO d'un site e-commerce de vente de pièces poids lourds de toutes marques : https://www.protruckshop.com/ Etant un site avec un catalogue d'une grosse volumétrie (des centaines de milliers de produits) comme les sites Oscaro et Mister Auto, je...
  7. gregory irthum

    Anomalie 404 lors du crawl

    Hello tout le monde, Alors il m'arrive quelque chose que je ne comprends pas, peut-être quelqu'un a t-il la solution... Je viens de mettre en ligne un site client. J'avais développé ce site wordpress dans mon sous domaine (http://gregoryirthum.com/test-nxu/) Et présent, j'ai tout migré avec...
  8. O

    Page d'accueil non indexée ? Conflit avec robots.txt

    Bonjour tout le monde, Après avoir terminé le développement de mon site, je me retrouve dans le monde du SEO et du référencement, si cruel pour un débutant comme moi :eek: ! J'ai créer mon site via wordpress couplé à l'utilisation du plugin YoastSEO. Après avoir également créer un compte Google...
  9. A

    Taux de crawling en chute

    Bonjour à tous, Je possède un site internet qui connait une chute impressionnante au niveau des requêtes crawlées chaque jour par Google. Aucune baisse au niveau des recherches organiques. J'ai uniquement récupéré quelques articles (via des 301) d'un autre blog suite à une fusion mais cela...
  10. nile

    désindexer et/ou empêcher crawl ?

    Salut, Lorsque l'on désindexe et passe en noindex une page (page zombie selon rmtech), mais que je veux garder cette page sur le site, est-ce nécessaire aussi d'empêcher GG de la crawler, ou est-ce que le noindex suffit pour qu'elle ne gène plus le référencement naturel ?
  11. P

    Bloquer une section dans mon fichier robots.txt

    Bonjour à tous ! J'aimerais autoriser les bots à crawler mon site en entier sauf une section qui est /Profil/. Est-ce que je dois faire comme cela : User-agent: * Allow: / Disallow: /Profil/ Sitemap: https://www.nomDeMonsite.com/sitemap-index.xml Est-ce que le Disallow est OK ? Donc...
  12. P

    Gestion annonces (contenus éphémères) et 404

    Bonjour à tous, Je suis en poste depuis quelques semaines chez un constructeur de maisons individuelles avec pas mal de sujets à traiter. Disons que l'on part de trèèèèèès loin en ref nat ;) mais cela laisse présager une belle marge de progression pour les mois qui viennent. Après de...
  13. M

    AMP / Responsive design

    Bonjour ! J'ai quelques questions concernant l'AMP et le responsive design dans le milieu du Crawl et de l'indexation. Posons les bases de la question : Un site web responsive d'un côté, une installation de l'AMP de l'autre. Indexation mobile-first. Aujourd'hui, je vais être crawlé sur quel...
  14. S

    Migration http vers https : reste encore des pages indexées en http

    BOnjour, Cela fait plus d'un an que j'ai migré mon site de HTTP en HTTPS J'ai fait ce qu'il fallait dans mon htaccess pour faire de belles redirections 301 s'il exsite encore des liens HTTP sur le net (en interne mon site est nickel, que du httpS) Je remarque ce jour qu'ils me restent encore...
  15. M

    WOOCOMMERCE wordpress ROBOTS.TXT, que bloquez vous ?

    hello, Pouvez vous me dire ce qui se trouve dans le robots.txt de wordpress/woocommerce et ce que vous bloquez ? Google indexe toutes les pages de categories / catalogue qui ont un ? dans le lien, donc peut etre que c'est une bonne idée de bloquer toutes les pages qui ont un ? dans...
  16. F

    Problème et couverture de l'index et de Disallow

    Bonjour à tous, j'ai reçu un message de google me disant que j'avais un "problème de couverture de l'indexe" je ne sais pas quoi faire pour résoudre ce problème... je vous joins mes liens, quelqu'un peu m'aider ca serait cool ;) Bonne journée a tous https://www.vitreriemiroiterie-neuvillette.fr/
  17. B

    Strikingly et Googlebot : Contenu invisible dans la Search

    Bonjour à toutes et à tous, Je me permets de venir chercher un peu d'aide par ici concernant une question qui me taraude grandement. J'ai monté un site de brocante en ligne en utilisante le CMS Strikingly pour les raisons assez classiques : Rapidité, coût peu élevé, facilité d'utilisation etc...
  18. valserine

    La background image du site et la vue en cache de google

    Bonjour, J'ai lu sur ce forum comment utiliser la mise en cache de Google pour mieux voir la mise en texte seule. Par ce moyen j'ai vu que sur mon site les "ornements" qui composent ma page de background empêchent de bien lire. Est-ce uniquement les humains qui ne peuvent pas bien lire dans ce...
  19. nza2k

    Search Console crawle et indexe des page bloquées par robot.txt

    Bonjour tout le monde, Sur la nouvelle version de Google Search Console, très prometteuse au demeurant, j'ai une centaine d'avertissements me prévenant que Google a décidé de crawler et indexer des pages qui sont pourtant bloquées par le robots.txt C'est très ennuyeux, car dans le tas, il y a...
  20. D

    Version en cache de Google différente : piratage ?

    Bonjour à toute la communauté WRI, Votre avis et/ou retours d'expérience m'intéressent par rapport à un phénomène que je rencontre depuis maintenant 1 an. Ni agences SEO ni consultants senior n'ont pu trouver une explication à ce problème (et dieu sait que j'ai demandé à des pointures de...
Haut