Meta, la société mère de Facebook, vient de dévoiler deux nouveaux modèles de langage à grande échelle (LLM) : Llama 2 et CM3leon. Ces outils d’intelligence artificielle (IA) sont capables de générer du texte, des images, du code ou encore des conversations à partir de simples requêtes.
Llama 2 : un chatbot puissant et ouvert
Llama 2 est le successeur de Llama, le premier modèle de langage open source lancé par Meta en 2022. Il s’agit d’un chatbot, c’est-à-dire un système capable de dialoguer avec un utilisateur humain sur n’importe quel sujet. Llama 2 est composé de 7 à 70 milliards de paramètres, selon la version choisie. En comparaison, le célèbre GPT-4 d’OpenAI en compte 175 milliards, et Bard de Google (basé sur LaMDA) en compte 137 milliards.
Llama 2 a été entraîné avec 40 % de données en plus que Llama, provenant notamment de Wikipédia, de Reddit ou encore du WebCommons. Il utilise également une méthode d’apprentissage par renforcement à partir des commentaires humains (RLHF), qui lui permet d’adapter son comportement aux préférences et aux évaluations des formateurs d’IA humains. Ainsi, Llama 2 peut apprendre à éviter les réponses inappropriées, offensantes ou dangereuses.
CM3leon : un caméléon du contenu
CM3leon est le second modèle de langage dévoilé par Meta. Il s’agit d’un outil multimodale capable de générer une image à partir d’un texte comme le font déjà Dall-E 2 ou MidJourney. De plus, CM3leon peut également générer du texte à partir d’une image. Il peut ainsi créer une légende précise pour une photo.
L’outil repose sur un nouveau modèle de transformateur, nommé Attention, capable de travailler rapidement avec peu de ressources. CM3leon repose sur une configuration de 7 milliards de paramètres, notamment provenant de la base de données Shutterstock, soit deux fois plus que son concurrent Dall-E 2 d’Open AI.
Une stratégie open source
Meta a choisi de rendre ses modèles de langage open source, c’est-à-dire qu’il va publier gratuitement le code et les données utilisés pour les construire et les entraîner. L’objectif de Meta est d’encourager le développement et l’innovation dans le domaine de l’IA générative, en permettant aux chercheurs, aux entrepreneurs et aux développeurs du monde entier d’accéder à des outils performants et polyvalents. Meta espère ainsi contribuer au progrès scientifique et social, mais aussi renforcer sa position dans le secteur technologique.
Meta ne s’est pas lancé seul dans cette aventure. Il a noué un partenariat avec Microsoft, qui devient le partenaire privilégié pour Llama 2. Les deux géants collaborent depuis longtemps sur divers projets liés à l’IA, comme PyTorch ou ONNX.
Microsoft héberge Llama 2 sur sa plateforme cloud Azure, et propose des services et des outils pour faciliter son utilisation et son intégration dans des applications. Par exemple, il offre la possibilité de créer des chatbots personnalisés avec le service Azure Bot Framework Composer, ou encore d’utiliser Llama 2 comme source de données pour le service Azure Synapse Analytics.
La stratégie open source de Meta n’est pas sans limites ni risques. Tout d’abord, il faut noter que Meta ne respecte pas la définition de l’open source donnée par l’Open Source Initiative, qui stipule que le programme doit inclure le code source, et doit permettre une distribution sous forme de code source aussi bien que sous forme compilée. Or, pour accéder à Llama 2, il faut demander une autorisation particulière à Meta, qui la refuse si le demandeur a plus de 700 millions d’utilisateurs quotidiens actifs. Ainsi, Meta empêche les groupes concurrents comme Google ou Amazon d’utiliser sa technologie gratuitement.
Un avenir incertain
Meta a frappé un grand coup avec le lancement de Llama 2 et CM3leon, deux modèles de langage open source qui défient la concurrence. Ces outils offrent des possibilités inédites pour générer du contenu et dialoguer avec des machines. Ils devraient êtres accessibles gratuitement à la plupart des acteurs du domaine de l’IA, qui pourront les utiliser et les améliorer. Mais ils présentent aussi des limites et des risques, qui nécessitent une vigilance et une régulation. Quel sera l’impact de ces modèles sur l’évolution de l’IA et sur la société ?
Illustration en Une : généré par Dall-E 2
Essayez Llama 2 via Perplexity Labs : https://llama.perplexity.ai/
Sur le même sujet
Faut-il avoir peur de l’intelligence artificielle ? Définitions de l’IA.
