Crawling, indexation et classement : significations et différences

En tant que spécialiste du référencement, j’utilise ces termes quotidiennement : crawling, indexation et classement . Le crawling est le processus par lequel les moteurs de recherche collectent le contenu des pages web sur l’internet. L’indexation consiste à stocker ce contenu dans la base de données du moteur de recherche. Le classement fait référence à la position de la page web dans les résultats de recherche d’un moteur de recherche pour une requête donnée.

Dans cet article, je vais vous faire découvrir le monde de l’exploration, de l’indexation et du classement, ainsi que la manière dont ils affectent l’ensemble d’une campagne de référencement.

Qu’est-ce que l’exploration, l’indexation et le classement ?

Je donnerai d’abord une brève explication de chaque section, puis j’entrerai dans les détails.

  1. L’exploration : au cours de ce processus, Google télécharge le texte, les images et les vidéos d’une page à l’aide de « programmes » automatisés (robots d’exploration).
  2. L’indexation : Google analyse ces données et les stocke dans Google (qui est en fait une grande base de données).
  3. Classement : lorsqu’une personne effectue une recherche sur Google, elle peut tomber sur ces données.

Qu’est-ce que la marche à quatre pattes ?

Google découvre et met à jour une liste de pages web par le biais de la « découverte d’URL », où il suit les liens ou utilise des sitemaps. Un programme appelé Googlebot parcourt les pages selon un algorithme, en gérant soigneusement la vitesse pour éviter de surcharger les sites web.

Cependant, toutes les pages trouvées ne sont pas explorées ; certaines sont bloquées par le propriétaire du site ou nécessitent une connexion. Pendant l’exploration, Google rend la page et exécute le JavaScript pour s’assurer que tout le contenu pertinent est affiché.(1)

  1. Googlebot trouve une page.
  2. Googlebot télécharge la page et tout son contenu.
  3. Googlebot place les liens vers d’autres pages dans la file d’attente d’exploration, prêts à être parcourus.

Qu’est-ce que l’indexation ?

Cette partie est appelée indexation et implique l’analyse/la compréhension du texte, des balises importantes telles que

et des attributs alt, ainsi que des images et des vidéos.

Lors de l’indexation, Google vérifie si une page est un duplicata ou la « vraie » version de ce contenu. La page canonique est la page affichée dans les résultats de recherche. Google regroupe d’abord les pages similaires et sélectionne la plus représentative. D’autres pages du groupe peuvent être affichées dans des situations spécifiques, par exemple pour les utilisateurs mobiles. (2)

Le processus se déroule comme suit :

  1. Googlebot forme une image à partir du texte, des images, du HTML et du CSS téléchargés.
  2. Googlebot exécute le JavaScript trouvé (il s’agit d’un processus distinct), qui devient du HTML rendu.
  3. GoogleBot forme une image complète de la page.
  4. Googlebot indexe la page (lorsque cela est possible et que Google le souhaite lui-même).

Qu’est-ce que les vrilles ?

Passons maintenant à la partie la plus amusante pour de nombreux propriétaires de sites web : le classement. Lorsqu’un utilisateur saisit une requête, les systèmes de Google recherchent dans l’index les pages correspondantes et affichent les résultats qu’ils jugent les plus pertinents et de meilleure qualité pour l’utilisateur.

La pertinence est déterminée par des centaines de facteurs, tels que la localisation, la langue et l’appareil (ordinateur de bureau ou téléphone). Par exemple, la recherche « boulanger » donnera des résultats différents selon que l’utilisateur se trouve à Paris ou à Hong Kong.

La page de résultats de la recherche change également en fonction de la requête. La recherche « boulanger » est susceptible d’afficher des résultats locaux, tandis que la recherche « comment devenir boulanger » est plus susceptible d’afficher des résultats nationaux.(3)

En bref :

  1. Dans la section « traitement », Google prend la décision (oui/non) d’indexer une page.
  2. Elle est ensuite indexée et cette page peut être classée dans l’index.

Comment puis-je influencer l’exploration, l’indexation et le classement avec le référencement ?

Maintenant que vous savez ce que chaque partie de l’exploration, de l’indexation et du classement implique, je vais vous montrer ce que je fais dans le cadre d’une stratégie de référencement pour promouvoir ces parties.

Qu’est-ce qui affecte l’exploration et l’indexation par Googlebot ?

Il s’agit donc de la facilité avec laquelle Google peut accéder à tout ce qui se trouve sur le site web. Certains des éléments qui influencent cette situation :

  • structure du site web avec une structure en silo ;
  • des liens internes vers les pages les plus importantes ;(4)
  • sitemaps XML et HTML ;(5)
  • Optimisez le fichier robots.txt (assurez-vous que Google peut accéder à tout) ;(6)
  • optimiser les canons ;
  • Évitez les balises noindex sur les pages importantes ;
  • éviter les pages 4xx et 5xx ;
  • Évitez les chaînes de redirection et/ou les redirections inutiles ;
  • Optimisez le site web en fonction du budget alloué à l’exploration.

Comment puis-je influencer le classement ?

Cela commence à ressembler à un parcours de référencement classique, mais les éléments qui comptent ici sont les suivants :

  • la vitesse du site web ;
  • la structure du site web ;
  • un contenu de qualité (et rédigé sur les bons sujets) ;
  • des liens internes de qualité ;
  • une bonne utilisabilité mobile (responsive) ;
  • une bonne expérience utilisateur ;
  • beaucoup de valeur pour les visiteurs potentiels.

En bref, tous les problèmes connus sont importants à cet égard. À cette fin, j’ai créé la feuille de route SEO.

Conclusion

Dans cet article, j’ai expliqué ce que signifient les termes « crawling », « indexing » et « ranking » et en quoi ils diffèrent l’un de l’autre. Un « vrai » spécialiste SEO connaît la différence… maintenant vous aussi. Bonne chance avec l’optimisation !

Sources d’information

  1. Guide détaillé sur le fonctionnement de Google Search | Google Search Central | Documentation | Google pour les développeurs. (s.d.-j). Google pour les développeurs. https://developers.google.com/search/docs/fundamentals/how-search-works#crawling
  2. Guide détaillé sur le fonctionnement de Google Search | Google Search Central | Documentation | Google pour les développeurs. (s.d.-k). Google pour les développeurs. https://developers.google.com/search/docs/fundamentals/how-search-works#indexing
  3. Guide détaillé sur le fonctionnement de Google Search | Google Search Central | Documentation | Google pour les développeurs. (s.d.-l). Google pour les développeurs. https://developers.google.com/search/docs/fundamentals/how-search-works#serving
  4. SEO Link Best Practices for Google | Google Search Central | Documentation | Google pour les développeurs. (s.d.-g). Google pour les développeurs. https://developers.google.com/search/docs/crawling-indexing/links-crawlable#internal-links
  5. Qu’est-ce qu’un plan du site ? | Google Search Central | Documentation | Google pour les développeurs. (s.d.-c). Google pour les développeurs. https://developers.google.com/search/docs/crawling-indexing/sitemaps/overview
  6. Robots.txt Introduction et guide | Google Search Central | Documentation | Google pour les développeurs. (s.d.). Google pour les développeurs. https://developers.google.com/search/docs/crawling-indexing/robots/intro
Senior SEO-specialist

Ralf van Veen

Senior SEO-specialist
Five stars
Mon client m'a donné 5.0 sur Google sur 75 avis

Je travaille depuis 10 ans en tant que spécialiste SEO indépendant pour des entreprises (néerlandaises et l'étrangèr) qui souhaitent obtenir un meilleur classement dans Google de manière durable. Au cours de cette période, j'ai conseillé des marques de premier plan, mis en place des campagnes internationales de référencement à grande échelle et coaché des équipes de développement mondiales dans le domaine de l'optimisation des moteurs de recherche.

Grâce à cette vaste expérience dans le domaine de l'optimisation des moteurs de recherche, j'ai développé le cours d'optimisation des moteurs de recherche et j'ai aidé des centaines d'entreprises à améliorer leur visibilité dans Google de manière durable et transparente. Pour cela, vous pouvez consulter mon portfolio, références et mes collaborations.

Cet article a été initialement publié le 15 septembre 2023. La dernière mise à jour de cet article date du 15 mai 2024. Le contenu de cette page a été rédigé et approuvé par Ralf van Veen. Pour en savoir plus sur la création de mes articles, consultez mes lignes directrices éditoriales.