Définition de YandexBot :
Yandexbot est le nom du robot d’exploration (spider) du moteur de recherche russe Yandex. Comme Googlebot (Google) ou Bingbot (Bing), il explore (crawle) le Web en cliquant sur des liens pour partir à la recherche de pages afin de garnir l’index de Yandex.
A l’instar de Googlebot et Bingbot, Yandexbot nourrit l’index de Yandex, le moteur de recherche leader en Russie…
Le web russe est un domaine spécifique puisque c’est l’une des rares régions en Europe où Google n’est pas leader. En effet, dans ce pays, c’est le moteur de recherche local Yandex, créé en 1997 par Arkady Volozh, qui tient le haut du panier depuis de nombreuses années. Yandex est également le moteur par défaut des navigateurs Microsoft Edge et Mozilla Firefox en Russie et en Turquie.
Yandex se retrouve sous plusieurs noms / user-agents sur le Web (source) :
- YandexBot : robot d’indexation de base ;
- YandexMedia : robot d’exploration des contenus multimédias ;
- YandexImages : robot d’exploration des images ;
- YandexCatalog : robot d’exploration pour le catalogue Yandex ;
- YandexDirect : robot pour les sites participant au réseau publicitaire Yandex ;
- YandexBlogs : robot d’exploration des blogs ;
- YandexNews : robot pour Yandex Actualités ;
- YandexPagechecker : robot de validation des microformats.
 Les parts de marché sur le Web russe en termes de moteur de recherche. Yandex est leader devant Google. |
Voici également quelques liens pour aller plus loin sur le sujet :
- Site indexing by robots (Yandex)
- Using robots.txt (Yandex)
- Robots.txt pour Yandex / YandexBot
- YandexBot (BotReports)
- Yandex détrône Bing comme 4ème moteur de recherche mondial (Abondance)
Et 2 vidéos de Matt Cutts et Abondance qui vous en disent un peu plus sur la façon dont fonctionnent les robots des moteurs :
Spiders, Robots, Crawlers : comment ça marche ? (Abondance)
How Search Works (Google, Matt Cutts)