Définition SEO de Scooter, le robot d'AltaVista

Lancé dans les années 90, Scooter est le nom du robot d'exploration (spider) du moteur de recherche AltaVista, leader de la recherche sur internet avant l'arrivée de Google. Le robot Scooter était chargé d'analyser des millions de pages web chaque jour, ce qui faisait de lui l'un des outils d'indexation les plus performants de son époque.

Définition de Scooter, le robot d'exploration d'AltaVista

Dans le jargon du référencement naturel (SEO), un robot d'exploration est un programme informatique qui parcourt le web de façon automatique et permanente. Il collecte des ressources (contenus se trouvant sur des pages web) en suivant des liens et les met à la disposition d'un moteur de recherche pour qu'elles soient indexées et affichées dans les pages de résultats. Le volume de documents (pages web) qu'il peut analyser par jour varie en fonction de sa capacité de traitement.

À chaque nouveau passage sur un site internet, il vérifie et intègre les changements qui ont été effectués après son dernier crawl afin de garder l'index du moteur de recherche à jour. Tous les robots d'exploration répondent à un « principe de politesse » qui leur permet de définir une fréquence de crawl optimal pour chaque plateforme afin de ne pas provoquer une surcharge du serveur web. Le fichier Robots.txt situé à la racine des sites internet leur fournit aussi des directives dans ce sens.

C'est donc cette fonction d'exploration que remplissait Scooter pour le moteur de recherche AltaVista. Il était la propriété exclusive de la Digital Equipement Corporation, l'entreprise qui détenait la plateforme à l'époque. Doté d'un niveau de performance impressionnant, le webcrawler d'AltaVista fut le premier robot d'exploration à avoir une base de données en texte intégral. On pouvait l'identifier dans les logs des sites web sous diverses appellations :

• Scooter/1.0
• Scooter/1.1 (custom)
• Scooter/2.0 G.R.A.B. V1.1.0
• Scooter/2.0 G.R.A.B. X2.0

Ainsi, même s'il n'est plus actif aujourd'hui, Scooter est le précurseur incontesté des robots d'exploration des principaux moteurs de recherche actuels : Bingbot (Bing), Googlebot (Google), DuckDuckBot (DuckDuckGo)… C'est également grâce à lui que les spécialistes en référencement SEO de la première heure ont appris les bases de leur métier. Rappelons qu'à l'époque, il existait déjà des offres de référencement payant.

Scooter, l'origine du robot d'AltaVista

L'histoire du spider Scooter est étroitement liée à celle du moteur de recherche AltaVista. Le webcrawler a été conçu en 1995. Il est le fruit de près de 6 mois de travail de Louis Monier, programmeur web américano-français. Ce dernier était à l'époque un employé au Western Research Laboratory de Digital Equipement Corporation. L'inventeur du webcrawler Scooter a par la suite eu une carrière très honorable avec notamment un passage chez eBay et Google. Il a plus tard fait partie de l'équipe ayant lancé le projet Cuil, un moteur de recherche qui était censé concurrencer Google, mais qui est désormais inactif (depuis 2010).

Après sa mise en ligne, le webcrawler du moteur de recherche AltaVista a terminé sa première exploration complète du web en août 1995. Cette première opération lui a permis de faire indexer près de 10 millions de pages HTML dans la base de données d'AltaVista. 4 mois plus tard, le 15 décembre 1995, le moteur de recherche a été officiellement présenté au public. La page était accessible en ligne à l'adresse : altavista.digital.com. Elle fut plus tard transformée en portail.

Scooter, le robot le plus performant de l'époque

À son époque, le crawler Scooter d'AltaVista était incontestablement le robot d'exploration le plus performant ayant jamais existé. Il tournait sur une machine AlphaServer 4100 5/300, équipée d'un disque dur de 30 Go et d'une mémoire RAM de 1,5 Go. Sa capacité d'analyse était de 10 millions de pages web par jour, un nombre colossal pour un user agent des années 90.

À titre de comparaison, le bot de Google, leader actuel des moteurs de recherche, crawle 20 milliards de sites web chaque jour…

Il devait également suivre en continu 2000 sites internet faisant partie des plateformes les plus populaires de l'époque afin de vite intégrer les modifications de leurs contenus dans les pages de résultats du moteur de recherche.

Le spider Scooter était appuyé par un système d'indexation de dernière génération appelé Vista. Créé par Michael Burrows, un collègue de Louis Monier, le système d'indexation tournait sur un serveur Alpha 4100 5/300, une machine dotée de 2 processeurs, de 2 Go de RAM et d'un disque de 180 Go.

Ces deux outils combinés ont fait d'AltaVista le moteur de recherche phare des années 1990 avec 13 millions de requêtes par jour dès son lancement et 80 millions de visites journalières en 1997. AltaVista supportait les recherches d'images, de fichiers audios et de pages HTML, et proposait également un service de traduction entièrement gratuit.

D'après les informations de Digital Equipement Corporation, le dispositif technique du moteur de recherche AltaVista avait une puissance équivalente à celle de 375 ordinateurs haut de gamme mis ensemble.

La fin du robot d'exploration Scooter

La fin du robot d'exploration Scooter a été amorcée en février 2003, lorsque la société Overture Services, propriétaire d'AltaVista à l'époque, a été achetée par Yahoo!. Le portail étant sur le déclin face à la montée en puissance de Google, la société a décidé de lancer Yahoo Search, un nouveau moteur de recherche basé sur la YST (Yahoo! Search Technology). Finalement, AltaVista et Scooter, son user agent, ont été définitivement mis hors service le 8 juillet 2013.