L’obfuscation de liens pour optimiser son budget crawl

L’obfuscation, une technique de pagerank sculpting efficace

Les problématiques de maillage interne concernent tous les sites web et plus particulièrement les sites e-commerces, qui utilisent des menus riches (ou méga-menus) et des filtres. Mettre en place des techniques de pagerank sculpting pour optimiser le maillage interne d'un site est devenu aujourd'hui une obligation si l'on veut satisfaire les attentes des algorithmes de Google. De nombreux sites choisissent la méthode du siloing thématique, qui consiste à scinder son site en “grappes thématiques”. Cette technique est efficace, mais elle ne suffit pas à optimiser notre budget crawl (=le nombre d'URLS crawlées chaque jour par Google). En effet, même si les silos sont bien construits, nous ne sommes pas à l'abri que Google crawle des pages qui ne nous intéressent pas, comme par exemple les pages générées avec plusieurs filtres. Pour aider Google à se concentrer sur les pages réellement intéressantes, il existe une technique redoutable : l'obfuscation de liens. Cette technique de pagerank sculpting est efficace, mais reste encore aujourd'hui controversée.

Sur cette vidéo, Patrick Valibus de l'agence 410 Gone nous donne son avis sur le sujet.

Qu’est-ce que l’obfuscation de liens ?

Obfusquer un lien consiste à le cacher aux robots des moteurs de recherche, sans interférer sur la navigation. L'utilisateur aura toujours l'impression de pouvoir cliquer sur le lien, mais celui-ci sera invisible pour Google. Pour en savoir plus, je vous invite à lire cet article sur WP Rank très complet sur l'obfuscation de liens.

Comment fonctionne l'obfuscation de liens ?

Les bots sont aujourd'hui capables d'interpréter les Javascript pour les liens générés en Ajax. Par contre, ce qui fonctionne toujours à ce jour, ce sont les liens générés sous forme de boutons Javascript et codés en base64.

Voici à quoi ressemble le code d'un lien obfusqué :

<span data-obs="L3N0b3JlL3Byb2R1Y3QvZ2VuZGVyLXR5cGUvbGlzdC92aWV3P2JyYW5kPTEyNTAmZ2VuZGVyPTEmdHlwZT02"> mon lien obfusqué</span>

Ensuite le rôle du code Javascript est de décoder le lien et de l'ouvrir.

L'obfuscation est-elle sans danger pour mon référencement naturel ?

Comme nous l'avions évoqué en introduction, l'obfuscation est une technique encore controversée. En effet, elle consiste à cacher des liens à Google, mais pas aux internautes. Montrer une page différente aux robots et aux utilisateurs porte un nom : le cloaking. Certaines techniques de cloaking sont réellement “sales” et dangereuses. L'obfuscation fait un peu exception. En effet, son but n'est pas de manipuler et tromper les algorithmes de Google, mais de guider leurs robots vers les pages les plus pertinentes et riches. En gros, on cherche simplement à faciliter le travail d'exploration des Googlebots. Pour en avoir discuté plusieurs fois avec des personnes de chez Google, à partir du moment où l'on ne cherche pas à berner les visiteurs ou les robots de Google, il n'y a aucun risque, Google le tolère. Le but est de faire économiser du budget de crawl à Google tout en le dirigeant vers les pages les plus importantes des sites web.

Visionner notre Webinar "Budget de crawl" avec Seolyzer

Certains référenceurs plus frileux misent davantage sur l'optimisation de la structure de leur site afin de se passer de l'obfuscation. En fait, il n'y a pas de vérité générale autour de l'obfuscation, cela dépend simplement de la typologie de site. On n'optimise pas de la même façon un site de 1000 pages et un site de 100.000.

Comment utiliser l’obfuscation sur un site e-commerce ?

Analyser le nombre de recherches pour chaque requête

Parfois en e-commerce, nous intégrons des filtres qui ont un intérêt pour l'utilisateur, mais qui ne sont pas forcément pertinents pour Google. L'obfuscation nous permet ainsi d'ouvrir uniquement les facettes qui ont un potentiel pour notre référencement naturel.

Prenons un exemple concret avec une catégorie “casque de moto”. Sur mon site, j'intègre les facettes suivantes :

– Couleur (avec différentes valeurs : noir, rouge, bleu)
– Taille 
– Type de casque (jet, intégral, modulable)

Pour déterminer les facettes qui doivent être explorées par Google, il faut analyser les mots clés relatifs à cette page. Il existe plusieurs outils comme le planificateur de mots clés de Google Ads, Yooda Insights, Ranxplorer ou encore SEMrush. Je peux ainsi facilement isoler les combinaisons mot clé + filtre qui sont recherchées et celles qui ne le sont pas.

Par exemple :

– Casque moto noir : 1000 recherches par mois 

– Casque moto intégral : 500 recherches par mois

– Casque moto taille 56 : 0 recherche par mois

– Casque moto bleu : 10 recherches / mois

– Casque moto intégral bleu : 0 recherche

Avec 1000 recherches par mois, on peut en conclure avec certitude que le filtre de la couleur “noir” doit être ouvert si l'on souhaite se positionner sur cette requête. Il faut également ouvrir la valeur « intégral » de la facette “type de casque”.

Par contre, la valeur « taille 56 » de la facette Taille n'est visiblement pas pertinente. On peut donc obfusquer la facette pour empêcher Google d'explorer une page qui ne génère pas de recherche côté internaute. On constate aussi que la combinaison des valeurs  “intégral” et “bleu” n'est pas recherchée. Il faut donc obfusquer cette combinaison. En règle générale, il est recommandé de ne pas ouvrir au delà de 2 filtres mais cela dépend de la typologie du site. Certains sites de niche peuvent se permettre plus de 2 filtres.

Évaluer la rentabilité des pages 

En SEO, tout n'est jamais tout noir ou tout blanc. En effet, dans notre exemple, que peut-on penser de la valeur de “casque moto bleu”, qui réunit 10 recherches par mois ? Au premier abord on pourrait penser qu'il faut ouvrir la facette pour atteindre la longue traîne (surtout si on prend en compte les données inconnues du not provided). Pourtant, en matière de maillage interne, ce n'est pas forcément une évidence.

Pour mieux comprendre, il faut raisonner « rentabilité » et plus précisément ratio crawls / nombre de visites. Est-il “rentable” de ne pas obfusquer cette facette ? Pour répondre à cette question, la seule solution est d'analyser les logs. Si l'on s'aperçoit que cette page est crawlée 200 fois dans le mois et qu'elle ramène seulement 2 visites, on peut en conclure qu'elle n'est pas vraiment rentable. En obfusquant la facette, les 200 crawls pourront alors être re-dispatchés ailleurs, sur des pages qui génèrent plus de recherches. Bien sûr, une fois de plus il faut nuancer cette théorie. En effet,  il est aussi possible que cette page ne génère que 2 visites car elle n'est pas optimisée et donc mal référencée sur Google. Avant de prendre la décision d'obfusquer un lien ou plusieurs liens, il faut procéder à un mini audit de chaque page ou groupe de pages. Pour faire son choix, il faut simplement se rappeler qu'il est parfois nécessaire de « sacrifier » une page pour donner plus de puissance aux autres.

Le nombre de produits sur les pages catégories

Déterminer si une facette doit faire l'objet d'une obfuscation dépend également d'un autre critère déterminant : le nombre de résultats. En effet, les pages comportant peu de produits ne sont pas bien positionnées car Google estime que l'utilisateur doit pouvoir accéder à une offre complète. Généralement, il est dit qu'en dessous d'une dizaine de produits, la page est considérée comme peu qualitative. Néanmoins, cela est très relatif. Les secteurs de niche peuvent tout à fait proposer des pages avec 4 ou 5 produits très pertinentes. Il faut donc éviter de faire des généralités et déterminer précisément à partir de combien de produits Google ne positionne plus nos pages. Pour cela, il faut extraire des données des logs et les croiser avec celles d'un crawler. Les logs vous indiqueront les pages boudées par Google. Grâce au crawler, vous pourrez affiner ces données et trier les pages en fonction du nombre de produits qu'elles contiennent. Si vous constatez qu'en moyenne, les pages les moins fréquentées (par Google et les utilisateurs) comportent moins de X produits, alors il faudra songer à obfusquer les filtres qui conduisent à elles. Dans l'idéal, il est même recommandé de mettre en place un système dynamique qui ouvre et ferme les filtres en fonction du nombre de résultats derrière. Il faut toutefois veiller à conserver des temps de chargement corrects.

Les pages d'information, de mentions légales et de CGV

Ce type de pages est très souvent lié en footer sur toutes les pages du site, parfois même plusieurs fois ! Pourtant elles n'ont aucun intérêt SEO. Obfusquer les liens qui pointent vers elles (sauf sur la page d'accueil pour éviter qu'elles ne deviennent orphelines) permet alors d'économiser du budget crawl.

En conclusion

La technique de l'obfuscation est l'une des plus efficaces en matière de pagerank sculpting. Elle doit cependant être utilisée avec précaution et nécessite en amont une étude approfondie du site et des logs. En matière de SEO, il ne faut jamais se fier à une “impression”. Il faut extraire des données concrètes pour prendre les bonnes décisions et obfusquer les bons liens, notamment les méga-menus, les recherches à facettes, les liens footer, sans impacter le maillage interne et le référencement naturel du site entier.