Définition de Caffeine :
Le projet Caffeine, mis en place par Google en 2010, est le nom du programme de renouvellement de son système d’indexation et d’exploration du Web, pour répondre aux exigences et à l’évolution de la Toile, plus de 10 ans après la création du moteur de recherche. Caffeine a fortement étendu les capacité de Google à indexer le Web, les images, les vidéos, etc.
En 2010, Google a mis en place le projet Caffeine pour mettre en conformité son moteur de recherche avec le Web tel qu’il existait à cette époque. Mais de quoi s’agit-il exactement ? Que représente ce projet qui s’est avéré très important pour Google, mais lui a également valu quelques déboires ?…
Google voit le jour en 1998 et connait dès le départ une croissance très rapide, accompagnant (et participant à) l’immense succès du Web sur la Planète. Plus de 10 ans plus tard, les ingénieurs du moteur de recherche font le constat que la Toile est devenue énorme et que les capacités d’exploration et d’indexation de leur outil commencent à atteindre leurs limites. Le projet Caffeine est alors mis en place en interne et sera annoncé en juin 2010.
Son but est de mettre en place une nouvelle structure d’indexation, plus robuste et plus en phase avec l’évolution du Web de l’époque et notamment une intégration plus approfondie des images, des vidéos, du temps réel, de l’actualité, etc.
Selon les chiffres dévoilés à l’époque, Caffeine analysait chaque seconde plusieurs centaines de milliers de pages et occupait environ 100 millions de Go sur un datacenter, avec un taux de mise à jour de plusieurs centaines de milliers de Go par jour.. On peut parier que ces chiffres ont fortement évolué, sept ans presque jour pour jour depuis cette première annonce.
Caffeine n’a donc rien à voir avec une mise à jour (update) de l’algorithme du moteur de recherche, de type Vince, Florida ou le plus récent Fred, comme certaines personnes le croient parfois.
Mais Caffeine n’a pas eu que des effets positifs sur Google. En effet, à vouloir indexer des informations de façon plus large, les outils du moteur ont eu tendance à « racler le fond » de façon plus intensive et a donc été quasi instantanément beaucoup plus spammé. Les équipes de développement ont donc créé, pour lutter contre ce fléau, des filtres antispam qui se sont très vite fait un nom redoutable (et redouté) dans le petit monde du SEO : Panda (2011), Penguin (2012) et bien d’autres…
 Passage de l’ancien index à Caffeine, selon Google… Source de l’image : Google |