Définition de Googlebot :
Googlebot est le nom du robot d’exploration de Google (autrement appelé « spider », « agent » ou « crawler »). Ce robot va explorer les pages web en suivant les liens qu’elles contiennent, afin de détecter et indexer des documents nouveaux ou mis à jour. Il permet ainsi de nourrir l’index du moteur de recherche avec des milliards de pages, afin que ce dernier soit le plus exhaustif possible.
Googlebot est le robot de Google, tout comme Bingbot pour Bing. Il parcourt inlassablement le Web pour identifier de nouvelles pages. Explications…
Le robot Googlebot a été créé en même temps que le moteur de recherche Google, et il permet à ce dernier de détecter de nouveaux documents (ou des documents récemment mis à jour) afin de tenir à jour l’index du moteur de la façon la plus fraîche possible, le tout dans le cadre de son budget crawl.
Googlebot va, par exemple, arriver sur un site web en suivant un lien qui pointe vers lui, puis il va envoyer le code HTML de la page à Google pour traitement et, dans un second temps, il va suivre tous les liens (internes et externes) de la page pour « sauter » sur d’autres documents et y effectuer le même traitement.
Un robot comme Googlebot ne sait donc faire que 2 choses (mais elles sont essentielles au bon fonctionnement d’un moteur) :
1. Récupérer le contenu d’une page (code HTML) ;
2. Suivre les liens dofollow qu’elle contient.
Le reste du traitement (indexation, etc.) est réalisé par d’autres modules du moteur de recherche.
Notons que Googebot doit voir le même contenu qu’un internaute lambda, sinon Google estimera qu’il s’agit de cloaking et il pourra pénaliser le site.
Bien entendu, le robot suivra les indications du fichier robots.txt du site en ne crawlant pas les URL indiquées dans ce dernier.
 Googlebot, robot d’exploration de Google. Source : Smart Web |
Voici également quelques liens pour aller plus loin sur le sujet :
- Aide en ligen officielle de Google sur Googlebot
- Googlebot (Wikipedia)
- Googlebot (Wikipedia)
- Googlebot (Abondance)
Et deux vidéos :
Spiders, Robots, Crawlers : comment ça marche ?
Fichier robots.txt et SEO