Indexation Google et classement : quelle différence ?

C'est quoi l'indexation d'un site ?

Pourquoi est-il si important d'être bien indexé par Google ? Parce que si vos pages ne sont pas indexées, elles ne seront jamais trouvées par les internautes. Point final. Vos pages feront partie du web non-indexé, c'est-à-dire le deep web.

Qu'est-ce que le processus d'indexation Google pour le moteur de recherche ?

"Indexer" signifie que les pages de votre site web sont ajoutées aux bases de données du moteur de recherche, et qu'elles peuvent être trouvées par les internautes lorsqu'ils effectuent des recherches.

Le classement, en revanche, est le processus par lequel les moteurs de recherche déterminent la position des résultats de recherche sur la SERP.

Cela signifie que, même si votre site web est indexé par un moteur de recherche, il ne sera pas nécessairement classé en première page de ses résultats de recherche.

Exploration des sites web par les crawlers et Google Bot

Les moteurs de recherche ont des logiciels appelés « robots d'exploration » ou « crawlers » qui parcourent le web en suivant les liens entre les différentes pages. Google possède son propre programme d'exploration du web, appelé Google bot.

Lorsqu'ils tombent sur une page web, les bots l'analysent, puis l'indexent dans leur base de données. C'est comme une gigantesque table des matières. Notez que les moments où une page est explorée et où elle est indexée peuvent être différents.

Lorsque vous effectuez une recherche sur Google, tous les résultats que vous voyez sont issus de cette gigantesque base de données. Imaginez le bazar pour s'y retrouver si tous les résultats étaient en vrac dans une seule liste, même pour une machine ! C'est pourquoi les robots indexent les pages web par rapport à un mot clé.

Nous reviendrons sur le procédé d'indexation plus en détail pour expliciter notamment le rôle primordial des mots clés.

Classement d'une page web dans les résultats Google

Les algorithmes de classement sont les formules mathématiques que Google utilise pour déterminer la position des pages web dans sa page de résultats (SERP). Il y a de nombreux facteurs qui entrent en jeu dans le classement des pages, tels que la qualité du contenu, la popularité du site, les liens entrants, etc. mais nous y reviendrons plus tard.

Les algorithmes de classement sont constamment mis à jour et améliorés par Google, afin qu'ils puissent mieux comprendre le contenu et offrir les meilleurs résultats aux internautes.

Pour travailler son SEO, l'optimisation pour les moteurs de recherche, il est d'abord essentiel de bien cerner le processus d'indexation et de classement des pages web d'un site.

Indexation Google : du changement ?

Si au départ, l'intention de Google en tant que moteur de recherche était d'avoir l'index le plus complet possible, il s'oriente depuis plus de 10 ans vers un index le plus qualitatif possible.

Cela a naturellement engendré des évolutions dans la manière dont le moteur traite le processus d'indexation, et in fine, celui du classement d'un site sur des mots clés.

Le budget de crawl

Le budget de crawl est la quantité de données que Google peut "explorer" sur votre site lors de chaque visite du Google bot. Cette quantité est "finie", pour des questions de ressources (le web est gigantesque) et de temps de crawl.

Plus votre budget de crawl est élevé, plus vite votre site web est éligible avec avoir des pages indexés. Cela dit, il y a un certain nombre de facteurs qui peuvent influencer le budget de crawl alloué à votre site, notamment :

• La qualité de votre contenu : si vous avez du contenu de faible qualité ou dupliqué, Google ne va pas allouer beaucoup de ressources à son indexation.
• La profondeur de vos pages web : plus vos menus sont à rallonge (méga menu), moins Google les explorera. En règle générale, essayez de ne pas dépasser 2 niveaux de profondeur. Les Googlebots iront rarement au-delà...
• La popularité de votre site internet : plus votre site est populaire, plus Googlebot vient fréquemment le visiter, grâce aux backlinks externes, pour indexer de nouvelles pages.
• La structure de votre site web : s'il est mal structuré et maillé, il sera plus difficile pour le Googlebot de comprendre sa hiérarchie et son contenu, et donc de l'indexer correctement.
• Les performances de votre site : si votre site est lent ou ne fonctionne pas correctement, Googlebot ne prendra pas la peine de l'explorer en profondeur et indexera seulement les pages les plus faciles d'accès.

En revanche, si vous ne faites rien pour l'améliorer, rien ne garantit que le budget de crawl de votre site sera bien dépensé. Il est tout à fait possible que les Googlebots gaspillent votre budget de crawl à indexer des pages sans intérêt, alors que vos pages business attendent leur tour.

Pour optimiser l'indexation de votre site web, et donc assurer un meilleur référencement (plus rapide et plus rentable) sur Google, il va falloir se pencher sur la structure de votre site, ainsi que la façon dont les bots visitent vos pages et les comprennent. De cette façon, vous pourrez optimiser votre budget de crawl afin d'être plus facilement indexé sur les pages qui comptent vraiment pour votre business.

Pourquoi le budget de crawl est-il limité ?

Dans sa quête pour ne retenir que les contenus de qualité, les moteurs de recherche comme Google dépensent énormément de ressources, en particulier celles de leurs serveurs.

Les données web à explorer sont en effet colossales, et la complexité toujours croissante des filtres en place pour faire cet espèce de "pré-tri" augmenterait nettement le temps de traitement.

Il est donc naturel que Google cherche à économiser en évitant de perdre du temps sur des pages web qui n'en valent pas la peine. Charge aux webmasters SEO d'exploiter pleinement leur potentiel en utilisant intelligemment le budget de crawl qui leur est alloué... d'où le SEO !

Qu'est-ce que le crawling prédictif ?

C'est une hypothèse, Google n'a rien confirmé. Mais il semble que ses crawlers soient désormais capables d'anticiper la fréquence de création de nouveaux contenus d'un site web. C'est le crawl prédictif.

Propulsées par le machine learning, les prédictions du crawler Google viseraient en particulier vos habitudes de publications, mais aussi la qualité habituelle de votre contenu, etc.

Si vous publiez une fois par mois, inutile d'envoyer un crawler vérifier si le site a publié... plusieurs fois par jour.

C'est ainsi que Google bot en déduirait la nécessité de passer (ou pas) chez vous. On comprend pourquoi les SEO insistent tellement sur la régularité de la fréquence de publication ! Il en va de la prise en compte de vos nouveaux contenus.

Le rôle de l'IA dans le crawling de Google

Ce n'est pas à proprement parler une "intelligence artificielle", mais du "machine learning".

Il s'agit de "faire apprendre" aux programmes à réaliser certaines choses de manière autonome, sans être spécifiquement programmés pour cette tâche précise.

Dans le cas du crawling, les robots d'indexation apprennent seuls grâce aux données qu'ils collectent et analysent. Au fil du temps, ils s'adaptent et deviennent de plus en plus efficaces.

L'IA permettrait à Google bot d'être beaucoup plus performant, notamment en termes d'économie de crawl budget. Ce n'est pas une certitude, mais c'est fort probable.

Fresh bot et Deep bot

Google a dévoilé l'existence de 2 types de robots d'indexation : Deep crawl bot et Fresh crawl bot.

Le premier est responsable du crawl profond du web, c'est-à-dire qu'il analyse en profondeur les pages existantes pour détecter les changements.

Le second, quant à lui, a pour mission principale de détecter les nouvelles pages à indexer.

Google ne communique pas sur la manière dont ces 2 robots sont déployés, mais on peut déduire que Deep bot passe moins fréquemment que Fresh bot, à raison d'une fois par mois.

On peut également imaginer que les 2 robots collaborent pour effectuer une indexation pertinente du web : Deep bot pour les mises à jour de contenu existant, et Fresh bot pour détecter les nouvelles pages "urgentes".

Comment être indexé sur Google ?

Pour être indexé dans la base de données de Google, deux solutions sont possibles :

1. Envoyer vos pages à la Google Search Console par le biais du fichier sitemap.xml
2. Attendre que le Google bot trouve vos contenus en suivant les liens existants (ce qu'on appelle le crawling "passif").

Le sitemap est un fichier XML qui liste l'ensemble des pages (URL) d'un site internet. Il permet de faciliter le travail du Google bot, en lui fournissant directement les liens à explorer et à ranger dans son index. C'est la méthode la plus sûre pour être certain que vos pages seront indexées.

Pour envoyer votre fichier sitemap à Google, il suffit de l'ajouter dans la Google Search Console.

L'inconvénient du sitemap est qu'il faut le mettre à jour à chaque fois que vous créez une nouvelle page. En effet, si vous oubliez de l'ajouter dans le sitemap, Google ne le saura pas et ne viendra donc pas la crawler.

La seconde méthode est plus "passive", puisqu'elle consiste à attendre que le Googlebot trouve vos pages en suivant les liens existants, d'un site à l'autre.

Si votre site est bien construit, avec des liens internes logiques et pertinents, cela ne devrait pas être trop long. Dans le cas contraire, il est possible que certaines pages ne soient jamais trouvées par le Google bot.

Vous pouvez tout de même "aider" un peu le crawler de recherche en mettant des liens vers vos nouvelles pages dans les anciennes, par exemple.

Qualité des pages web

La bonne qualité des pages web est une clé pour être bien indexé par les moteurs de recherche, donc pour un bon référencement.

La qualité concerne :

• Le contenu : doit être sans plagiat, original, intéressant, pertinent, riche en mots clés, avec une bonne orthographe.
• Le design : simple, clair, responsive design, et facile à naviguer
• La structure du site : sécurité, vitesse de chargement, etc.

Si l'un de ces éléments pose problème, Google aura du mal à indexer la page.

Vitesse du chargement d'une page web

Aucun internaute n'aime attendre qu'une page de contenus se charge, et encore moins sur mobile.

En conséquence, la vitesse de chargement des pages est un critère essentiel pour Google, notamment depuis la mise à jour "Speed Update" en juillet 2018.

Le temps de chargement est un signal SEO utilisé dans le classement des pages, en particulier sur mobile.

Cela signifie que si votre page met longtemps à charger, de l'ordre de plus de 2 secondes, vous risquez de perdre des places dans les résultats de recherche.

Ceci dit, critère Google ou pas, vous devez savoir que vous perdez plus de la moitié de votre trafic mobile si votre page web excède les 200 millisecondes de chargement...

Sécurité des sites web

La sécurité est également un critère important pour les moteurs de recherche.

Depuis 2014, Google a annoncé qu'il privilégiait les sites en HTTPS (Hyper Text Transfer Protocol Secure). Cela ne date donc pas d'hier, mais les règles du moteur de recherche se sont durcies depuis.

Le protocole HTTPS est une version plus sécurisée du protocole HTTP, utilisé pour le transfert de données sur internet.

Le HTTPS permet de sécuriser les échanges entre l'ordinateur de l'internaute et le serveur hébergeant le site web. Sans cela, toutes les données transmises, comme les mots de passe ou les informations personnelles, pourraient être interceptées par une tierce personne.

Aujourd'hui, Google affiche clairement un avertissement aux internautes lorsqu'ils visitent un site non sécurisé, et a tendance à privilégier les pages web sécurisées.

Le maillage interne pour améliorer la prise en compte de l'indexation Google

Le rôle du maillage interne est de "relier" les différentes pages entre elles, afin que le Googlebot puisse se déplacer facilement d'une page à l'autre. Plus votre site est facile à parcourir, mieux il sera indexé.

Le maillage interne doit donc être bien pensé et logique : chaque page doit être accessible en un minimum de clics, et toutes les pages doivent pouvoir être atteintes à partir de la page d'accueil.

Lorsque vous créez une nouvelle page, vous devez donc penser à créer des liens internes depuis d'autres pages de votre site.

Si vous avez un blog, par exemple, chaque nouvel article devrait être lié à d'autres articles, de manière à ce que le Googlebot puisse facilement "passer" d'une page à l'autre.

Bien structurer vos liens internes est nécessaire pour favoriser le crawling du Googlebot. Pour cela, il est important de :

• Utiliser des ancres textuelles claires et pertinentes pour décrire la page interne vers laquelle on souhaite rediriger l'internaute.
• Éviter les liens "nofollow", car ils indiquent à Google que la page n'est pas à prendre en compte pour le référencement.
• Ne pas sur-optimiser le maillage interne, car cela peut faire penser à Google que vous essayez de manipuler ses résultats.

En résumé, le maillage interne est important pour aider Google à mieux comprendre votre site web et à l'indexer correctement, mais il ne faut pas en abuser.

La page d'accueil

Le rôle de la page d'accueil dans le maillage interne est central, car c'est souvent à partir d'elle que les internautes vont arriver sur votre site. C'est aussi elle qui reçoit le plus de liens internes avec le fil d'Ariane, et souvent, le plus de liens externes naturels.

La page d'accueil d'un site a aussi un rôle essentiel à jouer dans la redistribution interne du jus de lien externe qui "pointe" sur elle.

Faire du netlinking

Le netlinking est l'action d'obtenir des liens vers son site sur d'autres sites, avec pour objectif d'améliorer le classement du site sur les moteurs de recherche.

Plus un backlink est "puissant", c'est-à-dire qu'il provient d'un site à forte popularité, plus le lien est efficace.

Vous pouvez utiliser cette technique pour tenter de "stimuler" le Google bot et l'amener à visiter vos pages.

L'idée n'est pas d'acquérir plus de jus de lien, mais juste de se faire remarquer par Google pour figurer dans son index. Ce lien peut donc être en nofollow, dans ce cas précis.

Comment vérifier si une page est indexée par les moteurs de recherche ?

Il existe plusieurs outils SEO que vous pouvez utiliser pour vérifier si votre site est bien indexé, tels que Google Search Console, Screaming Frog...

Pour vérifier si une page est indexée, rendez-vous sur la page d'accueil de Google et tapez la requête suivante :

index:www.votre-site.com/page- à-vérifier

Si la page n'est pas indexée, vous verrez le message suivant :

Aucun résultat trouvé pour votre requête.

Cela signifie que la page ne peut pas (encore) être trouvée par les internautes. Les robots de référencement web sur Google ne sont pas encore passés par là.

Les raisons possibles d'une page non indexée

Commencez par vérifier que la page web est "techniquement" indexable. Vous pouvez utiliser l'inspecteur d'URL de la Google Search Console.

Si elle a un problème, cela peut avoir 2 origines :

• le crawl lui-même (erreur code autre que 200)
• l'indexation elle-même (no index, ou mauvaise URL canonique) déclarée.

Si elle ne présente pas de problème, il se peut que les robots de Google ne soient tout simplement pas encore passés. Vos pages ne sont pas encore référencées dans l' index.

Pour y remédier, vous pouvez effectuer une soumission manuelle de votre sitemap via la Google Search Console.

Faites le ménage sur votre site web

Voici quelques conseils toujours utiles pour améliorer l'indexation d'un site ou forcer la prise en compte de vos contenus.

Supprimez le contenu inutile et enrichissez les pages trop pauvres. Choisissez des URL vraiment importantes et déclarez-les canonical, puis bloquez l'exploration et l'indexation des pages les moins intéressantes.

La bonne optimisation d'un site est essentielle à tous les points de vue, pas seulement pour l'indexation d'un article. Créez du contenu pertinent et régulier, puis améliorez l'autorité de votre site web grâce au netlinking : on ne le répétera jamais assez !

Forcer l'indexation d'un contenu sur Google

Si tout va bien sur votre site, et que vous pensez que c'est simplement le bot Google qui vous ignore, vous pouvez essayer quelques techniques pour l'obliger à placer votre page web dans son index.

Vous pouvez toujours essayer de "pinguer" la page dont vous voulez forcer l'indexation. Le but est d'alerter les moteurs de recherche qu'une nouvelle page web vient d'être publiée.

Cela consiste à envoyer un "ping", ou "signal", à Google et aux autres moteurs de recherche, en passant par un service tiers tel que Ping-o-Matic. Il n'y a aucune garantie que cela fonctionne, cependant.

Il existe aussi des outils SEO (payants) permettant de forcer la prise en compte des nouveaux contenus de votre site, mais ils ne sont en aucun cas obligatoires.

Tweeter votre nouvel article pourrait aussi améliorer vos chances d'être indexé. Même si Google ignore les liens provenant des réseaux sociaux, il s'agit de générer une information supplémentaire qui pourrait l'alerter sur l'existence de votre contenu.

Dernière astuce, assez ésotérique mais vous ne perdez rien à essayer : envoyez le lien de votre nouvel article à votre communauté via la messagerie GMail.

Il est de notoriété publique que Google amasse des quantités de données plus ou moins privées, plus ou moins légales par le biais de ses différents services web.

On peut donc penser qu'il finira par faire assez rapidement la relation entre le contenu demandé par vos destinataires sur GMail et le besoin d'indexer rapidement votre URL.

Là encore, on vous souhaite que les dieux de l'indexation Google soient avec vous...

Le classement sur les moteurs de recherche

Avec une indexation plus performante, le classement des pages de votre site web va pouvoir commencer. Mais comment Google classe-t-il les pages ? Nous allons survoler ce concept qui sera expliqué plus en détail dans le chapitre suivant.

Classement du site et classement des pages web

Commençons par clarifier un point : Google ne classe pas vraiment votre site web. Il positionne vos pages en réponse à une requête donnée.

De plus, le classement d'une page n'est pas uniquement lié à son contenu. Google tient compte de beaucoup d'autres critères pour décider du rang d'une page, comme on l'a vu précédemment et comme on le verra par la suite.

Qu'est-ce qui détermine la position d'une page sur une SERP ?

Pour qu'une de vos pages entre par la bonne porte et ressorte correctement de l'index Google, il faut qu'elle soit optimisée pour un mot clé. Une indexation réussie signifie que votre site est associé aux bons mots clés dans l'index de Google. Vous pouvez voir cela comme des marque-pages indiquant les thèmes importants abordés dans la page.

Ensuite, l'algorithme de Google va comparer votre page à celle de vos concurrents sur les mêmes thèmes.

Pourquoi le classement d'une page évolue ?

Les moteurs de recherche ne se contentent plus de rapporter une information, ils vont également en classer la pertinence. Pour qu'elle remonte dans le classement jusqu'en page 1, il faut que Google préfère votre page par rapport à celles de vos concurrents.

Cela se fait sur la base de nombreux critères, dont la qualité du contenu, mais aussi la qualité des liens pointant vers la page (netlinking).

Le classement n'est pas figé. Il change tous les jours en fonction de l'évolution de votre site et des sites concurrents. En plus de cela, Google lui-même "teste" le positionnement de la page d'un site pour analyser la réaction des internautes. Cela l'aide à déterminer à quelle position votre page web "mérite" d'être classée dans ses résultats de recherche.

Comment être mieux classé dans une SERP Google ?

Optimiser le contenu, améliorer la structure technique d'abord et la sécurité : c'est la base de toute progression dans le classement Google.

Faire du netlinking, par la suite, permet de "pousser" un contenu de qualité sur les moteurs de recherche. Les liens provenant d'autres sites web donneront en effet de la crédibilité à votre site aux yeux de Google. Nous verrons tout cela dans les prochains modules !

Résoudre quelques soucis d'indexation par les moteurs de recherche

Vos pages ne s'indexent pas ?

A la base du classement des pages web, l'indexation est la première étape pour améliorer son référencement naturel. Mieux comprendre l'indexation d'un site est donc une première étape pour mieux comprendre son classement sur le moteur de recherche Google. Et cela implique de connaître quelques informations sur le procédé.

Comment fonctionne le robot d'indexation de Google actuellement ?

On ne sait pas exactement : le sujet est bien gardé chez Google. Mais on a quelques pistes, et on peut en déduire quelques conseils grâce aux évolutions SEO que l'on a pu observer et voir se relayer dans la communauté. La connaissance du fonctionnement des anciens moteurs de recherche, comme AltaVista par exemple a aussi pu fournir des indices sur la construction de Google.

Le temps d'indexation d'un site web

L'indexation n'est pas un processus instantané. Il faut compter plusieurs jours, voire plusieurs semaines, avant que toutes les pages d'un site soient indexées. Cela dépend de la taille et de la qualité du site, mais aussi du nombre de contenus en concurrence pour le même mot clé.

Si vous avez un site de petite taille, bien construit et sans trop de concurrence, il y a de fortes chances que toutes vos pages soient indexées en quelques jours.

Par contre, si vous avez un site volumineux, mal construit et très concurrentiel, il est possible que certaines de vos pages mettent plusieurs semaines à être indexées. Votre futur référencement en sera forcément impacté. 

Une expérience utilisateur positive sur tous les plans reste la base pour être bien découvert et bien indexé par les robots des moteurs de recherche, c'est-à-dire assurer la base de votre SEO.

Note : Google semble avoir récemment changé sa méthode de crawl, pour passer au crawl dit prédictif. Cela peut parfois provoquer quelques problèmes d'indexation, dont l'origine est en général à chercher du côté des sites web.

Pourquoi c'est si long ?

Aujourd'hui, le processus d'indexation du moteur de recherche est beaucoup plus complexe qu'en 2010 et prend en compte de nombreux critères de pertinence, notamment le mobile first. Cela explique pourquoi le temps d'indexation d'une page web s'est allongé considérablement.

Actuellement, il prend entre plusieurs heures et plusieurs semaines... les experts chez Google ont d'ailleurs annoncé que l'indexation de toutes les pages web n'était pas garantie.

Le GoogleBot peut être "occupé ailleurs", notamment être en train d'indexer des sites web plus importants que le vôtre... Google n'a pas vocation à recenser tout le web !

Index Mobile First

Cette méthode d'indexation consiste à privilégier avant tout les contenus accessibles sur mobile, au détriment des contenus uniquement disponibles sur ordinateur.

C'est une évolution importante, car elle signifie que Google privilégie les sites web qui proposent une expérience utilisateur responsive, et les pages mobile-friendly pour son référencement. Pensez-y si votre site web est uniquement optimisé pour le desktop.

Google Ads et indexation

Google Ads, la régie publicitaire, est aussi concernée par l'indexation. Il s'agit d'être affiché sur la page 1 des SERP Google, les enjeux pour un site internet sont donc importants.

Google n'a pas intérêt à mettre en avant un site web de mauvaise qualité. Mais que faire si un site web de mauvaise qualité paie pour ce service de mise en avant ? Google a résolu le problème en affichant des messages d'erreur lorsqu'on tente de soumettre une URL de mauvaise qualité dans sa régie Google Ads.

• Page de destination inaccessible.
• Destination impossible à explorer.
• Différence entre l'annonce et sa destination, etc.

Note : curieusement, les messages d'erreur de Google Ads arrivent dans la demi-heure qui suit la tentative d'indexation sur la régie publicitaire... ce qui est bien plus rapide que l'indexation web sur Google. Cela peut être intéressant pour "tester" à pas cher une de vos pages qui refuserait de s'indexer.

Les raisons d'une non indexation de contenu par Google Ads peuvent être nombreuses, et ont souvent pour origine l'expérience utilisateur d'un site (surtout la vitesse de chargement et le TTFB). Le problème est que Google Ads est très exigeant.

Pour figurer dans l'index de Google Ads, il faut que votre page soit accessible à la recherche en permanence, partout dans le monde, quels que soient le support et la qualité du réseau... Or, il va de soi que vous ne pouvez pas influer sur la qualité du réseau physique lui-même dans un pays lointain, même si votre site est parfait d'un point de vue SEO !

Tout ce que vous pouvez faire dans ce cas pour figurer dans l'index Google Ads, c'est de disposer d'un excellent hébergeur web (encore un conseil récurrent en SEO) ou d'un réseau de diffusion de contenu (CDN).

L'effet sandbox sur l'indexation Google

L'effet sandbox de Google désigne la période d'indexation plus ou moins longue pour les nouveaux sites web et les sites avec peu de contenu, pendant laquelle les pages ne sont pas bien référencées.

Cela concerne particulièrement le référencement naturel des sites e-commerce ou les sites avec un contenu très généraliste.

Dans ces cas, Google va faire preuve de prudence et analyser le site web plus en profondeur avant de l'indexer. La prise en compte d'un contenu peut donc durer plusieurs semaines, voire plusieurs mois avant d'être trouvable dans les résultats de recherche.

Conclusion

Indexation et classement sont deux aspects distincts du référencement sur un moteur de recherche.

Pour que votre site web apparaisse sur la première page des résultats de recherche, il faut qu'il soit bien classé, et donc, qu'il commence par être indexé correctement.

Comprendre ce processus vous permet aussi de comprendre comment résoudre les problèmes d'indexation que votre site peut rencontrer.

Dans la suite de notre formation, nous parlerons donc du processus de classement Google en lui-même.