Définition de Scooter :
Scooter était le nom du robot d’exploration (spider) du moteur de recherche AltaVista à la fin des années 90. Le moteur ayant été tué par Yahoo!, Scooter a aujourd’hui disparu des écrans radar.
AltaVista est un peu la madeleine de Proust des vieux référenceurs, puisque c’est sur ce moteur qu’ils ont appris en grande partie les bases de leur métier. Le robot d’AltaVista s’appelait Scooter…
Scooter a été l’un des premiers (mais pas le premier) robots d’exploration du Web et des moteurs de recherche. L’un des plus solides en tout cas pour l’époque. Il avait été conçu (en moins de 6 mois) pour le moteur de recherche AltaVista par Louis Monier en 1995. Louis Monier connaîtra par la suite une carrière importante au sein de nombreux sites majeurs (eBay, Google) et tentera l’aventure du moteur Cuill.
Scooter s’exécutait à l’époque sur une machine AlphaServer 4100 5/300 disposant d’1,5 Go de Ram et d’un disque dur de 30 Go. Le système chargé d’indexer les pages Web « récupérées » par Scooter s’appelait Vista et fonctionnait sur un serveur Alpha 4100 5/300 avec 2 processeurs, 2 Go de Ram et un disque de 180 Go. Le dispositif technique du système AltaVista Search représentait, d’après Digital, une puissance équivalente à 375 PC haut de gamme mis en réseau. La connexion à l’Internet s’établissait à l’aide d’une ligne à 100 Mbps (fin 98). Le robot Scooter indexait 10 millions de pages par jour à cette époque. Il scrutait également de façon continue 2 000 sites majeurs (parmi les plus populaires) afin de fournir un contenu remis à jour le plus souvent possible. A comparer avec les 20 milliards de sites crawlés aujourd’hui quotidiennement par Googlebot !
Scooter crawlait les sites et se retrouvait dans les logs sous plusieurs appellations : Scooter/1.0, Scooter/1.1 (custom), Scooter/2.0 G.R.A.B. V1.1.0, Scooter/2.0 G.R.A.B. X2.0.
En 2013, après son rachat, Yahoo! a décidé de tuer AltaVista (encore une décision de vrai visionnaire de la part de Yahoo! 🙁 ) et son robot, qui n’est donc plus actif aujourd’hui sur le Web.
Scooter était donc un précurseur et a tracé la route pour les robots actuels comme Bingbot ou Googlebot.
 AltaVista en 1999. Une autre époque… :-). |
Voici également quelques liens pour aller plus loin sur le sujet :
Et 2 vidéos de Matt Cutts et Abondance qui vous en disent un peu plus sur la façon dont fonctionnent les robots des moteurs :
Spiders, Robots, Crawlers : comment ça marche ? (Abondance)
How Search Works (Google, Matt Cutts)