Définition de Robot ou Spider

Publié le par

Définition de Robot ou Spider :

definition-robotUn Robot ou Spider est un logiciel utilisé par les moteurs de recherche pour explorer le Web en cliquant sur les liens hypertexte qu’il rencontre. A chaque page identifiée, il enverra son contenu au moteur pour indexation.

 

Les robots (ou spiders, ou agents ou crawlers) sont une partie essentielle du fonctionnement des moteurs de recherche et aident ces derniers à obtenir un index toujours plus jour…

Tous les moteurs de recherche se basent, pour constituer leur index, sur des robots, logiciels qui ont pour objectif deux actions principales :

  • Récupérer le code HTML des pages web qu’ils visitent, à des fins d’indexation (ou pas, selon la décision du moteur) ;
  • Cliquer sur tous les liens rencontrés dans ces pages pour aller visiter d’autres pages et continuer ce même travail de collecte d’information.

Le robot est donc comparable à un « internaute fou », qui cliquerait sur tous les liens qu’il rencontre (interne ou externe), pour sauvegarder à chaque fois le contenu des pages web explorées. Ce travail sur un site web s’appelle le crawl et s’effectue dans le cadre du crawl budget alloué au site en question.

Chaque moteur donne un nom à son robot : Googlebot (Google), Bingbot (Bing), YandexBot (Yandex) sont les principaux. Pour un même moteur, ils peuvent être déclinés en plusieurs patronymes, selon leur utilisation. Exemple pour Google : Googlebot, Googlebot-Image, Googlebot-News, Googlebot-video, Mediapartners-Google, etc.

infographie-robot
Comment fonctionne un moteur de recherche comme Google ? (Source de l’image).

Voici également quelques liens pour aller plus loin sur le sujet :

Et 3 vidéos de Matt Cutts et Abondance qui vous en disent un peu plus sur la façon dont fonctionnent les robots des moteurs :


Spiders, Robots, Crawlers : comment ça marche ? (Abondance)


How Search Works (Google, Matt Cutts)


Don’t block Googlebot from crawling JavaScript and CSS (Google, Matt Cutts)

0 réflexion au sujet de « Définition de Robot ou Spider »

  1. Bonjour Olivier,
    Merci beaucoup pour cette définition. Lorsque j’ai cliqué sur le lien sur abondance, c’était juste une simple curiosité et maintenant, ma curiosité me paie. Je viens d’ajouter quelque chose dans mon vocabulaire SEO et lever certaines équivoques que j’avais autour d’un robot et indéxation.
    Courage. Je me se site en favoris pour y revenir de temps en temps.

    Répondre

Laisser un commentaire