Définition de Slurp :
Slurp était le nom du robot d’exploration (spider) du moteur de recherche Yahoo!. Ce site utilisant aujourd’hui la technologie de Bing, Slurp est désormais très peu présent dans les logs, mais il existe encore pour les résultats mobiles du portail.
Le monde des robots d’exploration se partage majoritairement aujourd’hui entre Googlebot et Bingbot. Pourtant, Slurp, celui de Yahoo! désormais presque obsolète, se balade encore de page en page…
Yahoo! a présenté en 2004 son robot Slurp ou « Yahoo! Slurp« . Son nom venait de celui du spider d’Inktomi, technologie rachetée à l’époque par le portail américain pour équiper son moteur de recherche.
Depuis, Yahoo! est passé chez Bing pour sa technologie de recherche et Slurp semble donc obsolète. Pourtant, on voit encore passer ce spider sur nos sites web. Il semblerait en fait que Yahoo! utilise encore ce robot pour l’élaboration de ses résultats de recherche sur mobile. Il n’est donc pas totalement négligeable de le prendre en compte dans sa stratégie d’accès – ou pas – aux agents des moteurs de recherche.
Slurp se retrouve dans les logs sous cette appellation :
Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)
 35 robots d’exploration d’origines diverses détectés en 201A6 (source de l’image). |
Voici également quelques liens pour aller plus loin sur le sujet :
- Why is Slurp crawling my page? (Yahoo!)
- Yahoo! Slurp (BotReports)
- Robots.txt pour Yahoo! / Yahoo! Slurp
- Yahoo! présente son nouveau robot, Yahoo! Slurp (Abondance)
Et 2 vidéos de Matt Cutts et Abondance qui vous en disent un peu plus sur la façon dont fonctionnent les robots des moteurs :
Spiders, Robots, Crawlers : comment ça marche ? (Abondance)
How Search Works (Google, Matt Cutts)