Cette semaine se déroule l’événement bi-annuel de Google, le « Google I/O« . Et comme à chacun de ces événements, Google en profite pour annoncer une série de nouveautés pour ses produits.
L’annonce la plus importante a été la présentation d’un nouveau modèle de langue, baptisé MUM par Google. MUM est un acronyme (Google adore les acronymes qui signifient quelque chose) pour : Multitask Unified Model (Modèle Multitâche Unifié).
Qu’est-ce que fait un modèle de langue en général et MUM en particulier ?
Les modèles de langue sont des représentations numériques du langage. Un moteur comme Google est construit avant tout sur de « vieux » modèles de langue, comme le modèle vectoriel qui a été inventé il y’a… une cinquantaine d’années. Depuis dix ans, quelques couches plus modernes se sont ajoutées, avec les Word Embeddings en 2015 ou BERT en 2019. Des couches qui n’ont pas remplacé les anciennes, mais quiviennent améliorer le fonctionnement du moteur sur des requêtes formulées en langage naturel ou des requêtes que ces nouveaux modèles peuvent mieux gérer.
MUM appartient à une nouvelle génération de modèles de langue, plus puissants, plus universels. Ce ne sont mêmes plus de simples modèles de langues mais des modèles numériques représentant des entités porteuses de sens et d’information.
Les premiers modèles de ce type sont embarqués dans les plateformes GPT-2 et GPT-3 d’Open AI. Google est donc en retard sur la concurrence sur ces technologies.
MUM est différent de BERT par trois caractéristiques essentielles :
- il est multimodal : cela signifie que le modèle intègre plusieurs formats de données : du texte, des pages web, et même des images. Pour le moment, l’audio et la video ne sont pas intégrés dans le modèle
- il est multitâche : cela ne signifie pas qu’il est capable de faire plusieurs choses à la fois, mais que le modèle est suffisamment générique et riche pour comprendre ce qu’il analyse à plusieurs niveaux
- ce modèle numérique peut-être utilisé aussi bien pour effectuer des recherches d’information tirées du modèle, mais aussi pour générer du texte et des images.
Il s’agit par contre d’un modèle qui utilise les Transformers comme BERT.
Les Transformers sont des composants utilisé dans de nombreuses conceptions de réseaux neuronaux pour traiter des données séquentielles, telles que du texte en langage naturel, des séquences génomiques, des signaux sonores ou des données de séries chronologiques. Leur spécificité est d'exploiter un mécanisme dit "d'attention" qui permet d'analyser les termes qui environnent un mot particulier pour décider de la façon dont il va être encodé ou décodé.
Ensuite, selon Google, le modèle est entrainé dans 75 langues, ce qui signifie qu’il est utilisable sur de nombreuses versions pays.
Quel serait l’apport de MUM ?
Ce type de modèles permet des applications assez nombreuses dans des domaines variés :
- des outils de traduction automatique améliorés
- des agents conversationnels beaucoup plus efficaces dans la compréhension des demandes en langage naturel et capable de répondre à ces demandes en faisant preuve de pertinence et même d’une pseudo créativité étonnante (on est loin de Siri)
- des générateurs de texte automatiques capables de rédiger des textes en n’importe quelle langue avec une qualité de résultats étonnante (on est loin du Content Spinning). Ces modèles peuvent être utilisés pour générer des images, ou des pages web « à la manière de… »
- et évidemment des outils de recherche d’information beaucoup plus puissants
Sur ce dernier point, Google a fourni un exemple de ce que MUM pourrait (le conditionnel est important) permettre de faire :
Prenez ce scénario : Vous avez fait l’ascension du Mont Adams. Vous voulez maintenant escalader le mont Fuji l’automne prochain et vous voulez savoir ce qu’il faut faire différemment pour vous préparer. Aujourd’hui, Google pourrait vous aider, mais cela nécessiterait de nombreuses recherches mûrement réfléchies : vous devriez rechercher l’altitude de chaque montagne, la température moyenne à l’automne, la difficulté des sentiers de randonnée, le bon équipement à utiliser, etc. Après un certain nombre de recherches, vous finirez par obtenir la réponse dont vous avez besoin.
Mais si vous vous adressiez à un expert en randonnée, vous pourriez poser une seule question : « Que dois-je faire différemment pour me préparer ? ». Vous obtiendriez une réponse réfléchie qui prendrait en compte les différents aspects de la tâche que vous devez accomplir et vous guiderait à travers les nombreux éléments à prendre en compte.
Pandu NayakGoogle Fellow and Vice President, Search
MUM va t’il révolutionner l’algorithme de classement de Google ?
En dépit de cette annonce, Google n’est pas encore prêt pour « embarquer » MUM dans son algorithme de classement. Ils en sont au stade du POC.
Si on devait faire une analogie avec les vaccins anti Covid, ils en sont aux essais cliniques de phase 1 : cela semble encourageant. Il leur reste à faire les essais cliniques de phase 2 : la validation par les quality raters de l’amélioration du produit Google Search par l’introduction de MUM. Et ensuite, il y’aura les essais de phase 3 en situation réelle.
Rappelons que s’agissant de BERT, deux ans après l’annonce de l’intégration de BERT dans l’algorithme de classement, cette phase 3 n’est toujours pas terminée semble-t’il.
Pourquoi Neper est capable de vous faire ce feedback sur MUM ?
L'agence Neper est dotée d'un département de recherche pilotée par le Dr Haleleh Kamari : les Neperian Labs. Nos activités de recherche sont justement consacrées à l'amélioration des modèles de langue et de leurs applications pour le web.
Notons par ailleurs que Google annonce un algorithme 1000 fois plus puissant que BERT. Ce n’est pas si impressionnant que ça. Pour ce genre d’algo, la puissance correspond au niveau de complexité du modèle, qui se mesure en nombre de paramètres.
- BERT comportait 110000 paramètres dans son modèle
- MUM en comporterait donc 1 milliard.
Rappelons que GPT 2 d’Open AI c’est 2,5 milliards de paramètres. Et GPT-3, 175 milliards !
Bref, MUM, ce n’est pas la machine de guerre que la communication de Google voudrait nous vendre. C’est néanmoins l’annonce d’une nouvelle ère avec une course à l’armement vers des modèles de plus en plus puissants, qui risque fort de changer le paysage du traitement du langage naturel dans les dix prochaines années ! Avec un impact fort sur le SEO.
Retrouvez l’annonce de Google ici :
https://blog.google/products/search/introducing-mum/
Notez qu’ils ont toujours de l’humour chez Google : le titre de l’article se traduit par : « je vous présente Maman ».
Si vous souhaitez en savoir plus, nous aborderons le sujet des progrès de Google en IA à l’occasion de notre prochaine matinée de conférences :
Les Matins Népériens, jeudi 17 juin 2021 de 9h à 12h en présentiel à l’espace Saint Martin.
[lien vers la billetterie]
Inscription gratuite, places limitées à 50 personnes.