Depuis des mois, vous entendez parler de ChatGPT, des prouesses qu’il réalise tout autant que des inquiétudes qu’il soulève. 

‍

Lors de l’événement Cultive ta Data, Samuel Rochette et Giuseppe Guarino, Senior Data Scientists chez Flint, ont eu l’occasion de présenter la conférence “Jusqu'où peut aller l'IA ? État des lieux et perspectives”afin de remettre du contexte, de présenter à la fois les mécanismes derrière les "grands modèles de langage" (LLM) de manière simple et didactique, pour ensuite les illustrer avec des applications concrètes pour vos entreprises. 

‍

Le replay de la conférence est disponible ci-après : (le son s’améliore après la troisième minute)

‍

‍

Durant cette conférence, nous parlerons d’IA générative. Cette branche de l’intelligence artificielle se concentre sur la création de modèles et d’algorithmes capables de générer des données, des images, des textes ou des sons de manière autonome. 

‍

Fonctionnement des modèles LLM

‍

LLM signifie Large Language model. Ce sont des réseaux neuronaux utilisant d'énormes volumes de données pour comprendre le langage humain (appelé aussi langage naturel).

‍

Ainsi pour comprendre ce qu’est ChatGPT, il est important de comprendre le fonctionnement qui se cache derrière. 

On va donc parler de 2 modèles :

• Text to image, tel que fourni Mid Journey par exemple
• agent conversationnel, tel que fourni ChatGPT

‍

Text to image / image to text

Le modèle text to image est un modèle d’apprentissage supervisé qui prend en entrée, une description textuelle et produit une image correspondante à cette description. 

‍

Focus sur l'apprentissage supervisé

‍

L'apprentissage supervisé est une technique d'apprentissage automatique (Machine Learning) utilisée en Data Science. Il s'agit d'un type d'algorithmes où le modèle est entraîné sur un ensemble de données étiquetées (par l’humain). L'objectif de l'apprentissage supervisé est de permettre au modèle d'apprendre à faire des prédictions précises sur de nouvelles données non étiquetées.

Un exemple très connu est lorsque vous dites à votre logiciel d’email qu’un email est un spam, vous “l’étiquetez” spam pour l’algorithme de reconnaissance de type d’email. Ainsi, il devient meilleur.

‍

Ici, c’est de la classification de l’image mais cela pourrait être tout simplement le même fonctionnement pour tous les modèles dit paramétriques fonctionnels. 

‍

Avec cette même logique (que l’on appelle encoder / décoder), lorsque l’on travaille un set de data, avec un modèle, nous pourrons récupérer une image qui, de prime abord, ne ressemblera pas forcément à ce que l’on souhaite. 

Il faudra entraîner le modèle afin de se rapprocher de ce que l’on attend (ici dans l’exemple de Samuel, un saxophone). 

‍

‍

Focus sur le modèle GPT

Un modèle GPT est un réseau neuronal artificiel utilisé pour le traitement du langage naturel qui utilise des concepts d'apprentissage profond pour générer des phrases de sortie précises.

Ce modèle est par exemple utilisé lorsque l’on souhaite prédire la fin d’une phrase.  

‍

Pour ce faire, on utilise de l'apprentissage auto supervisé, c’est-à-dire, un modèle qui apprend à partir de données partiellement étiquetées ou auto-étiquetées. 

‍

Les avantages : 

• Beaucoup de données sont annotées gratuitement ;
• La fenêtre de contexte peut-être grande.

Les limites : 

• Le modèle génère un mot “cohérent”, quelque soit l’entrée, même si cela n’est pas vrai. Attention, il est important de bien faire la distinction entre cohérence et vérité. 

‍

Modèle de type conversationnel

Pour passer d’un modèle type GPT qui va générer du texte à un agent conversationnel de type ChatGPT,  il suffit de créer un contexte au modèle, que l’on appelle un pré-prompt.

‍

Mais attention, à l’importance du contexte donné, votre texte et sa formulation auront un impact sur la réponse que cela va générer. 

‍

Les applications de l’IA

Parmi les usages les plus classiques, nous avons : 

• Systèmes de recommandation - ecommerce ;
• Identification et suite des objets - robotique ;
• Prévisions des séries temporelles ;
• NLP - résumé de texte, analyse des sentiments, traduction, chatbots, classification.

Et depuis quelques mois, nous voyons apparaître de nouveaux usages : 

• Génération d’images, de musique et même de videos ;
• Assistants personnels virtuels ;
• Recherche de connaissances.

Les cas d’usage principaux de l’IA sont l’optimisation des processus robotiques et les interfaces de conversation (chatbots). En effet, il est important de rappeler que la plupart des cas d’usage, ne nécessite pas l'usage des LLM ou des modèles SOTA.  Les systèmes de Machine Learning classiques livrent une très bonne performance.

‍

Lors de cette présentation, Giuseppe souhaite partager l’état de l’art en 09/2022. 

Nombreuses des entreprises présentées ici, comme étant à l’état de l’art, ont été créées ces derniers mois. Il est donc normal pour toutes entreprises de se sentir perdus. 

‍

‍

Les limites, quel cadre pour l’IA ?

Avoir des informations vraies

Les modèles sont bons pour l’interpolation entre différents points des données d’apprentissage. Cependant, il est compliqué pour eux d’extrapoler. 

Ils vont donc générer des informations cohérentes mais non vraies. En effet, il est très difficile pour des modèles d’apprentissage de raisonner sur des sujets inconnus partant d’informations qu’ils ont à disposition.

‍

Limiter certains usages

Évidemment, l’une des grandes questions autour de l’IA est l’éthique. Un des exemple donné est une limitation émise sur Mid Journey, contre toute reproduction du président chinois. 

Éthique ou non, la question reste ouverte. 

‍

DAN jailbreak: Do Anything Now

Comme tout système informatique, ChatGPT a lui aussi ses failles et peut être contourné.

ChatGPT est programmé pour ne pas générer de réponses blessantes, ne pas prodiguer de conseils dangereux ou produire de contenu sexuel, violent ou polémique. 

Cependant, il existe de plus en plus de règles connues pour contourner cette limitation, parfois pour manipuler ou désinformer.

‍

Il en est de même pour ChatGPT Injection. Alors que nous ne lisons que le contenu texte et image, il est possible qu'une personne malveillante puisse intégrer des métadonnées, qui seront lu par l’IA, mettant le lecteur en erreur. 

‍

Giuseppe alerte et préconise de garder en tête qu’il peut toujours y avoir une personne mal intentionnée qui détourne l’IA. Il ne faut donc pas lui donner une confiance aveugle.

‍

‍

IA services vs Open Source

Auparavant, nous étions à la recherche du modèle le plus grand, donc le plus puissant. 

Aujourd'hui, grâce à l’open source, les développeurs ont réussi à créer un modèle plus petit mais encore plus puissant. Même si ChatGPT est le plus connu, aujourd'hui les Data Scientists ont plein d’autres solutions à portée de main (telles que Llama by Meta). 

‍

L’open source s’adapte très vite, voire plus vite, puisqu’il s’appuie sur une communauté mondiale. 

‍

Pour conclure, voici les points clés à retenir : 

‍

• Rester rationnel face à la machine (faire l’effort de comprendre) ;
• Les dernières avancées sont des assemblages de briques déjà existantes plutôt que des ruptures technologiques ;
• l’Intelligence Artificielle Générative : nous sommes encore loin d’avoir une définition claire (raisonnement scientifique ? sentiment ?) ;
• Il faut tout de même noter une réduction de la difficulté de communication entre homme et machine.

‍

Si vous souhaitez comprendre comment intégrer l’IA dans votre entreprise, nous vous conseillons de lire l’article “Comment intégrer l’Intelligence Artificielle dans sa stratégie d’entreprise ?” ou visionner le replay de cette table ronde animée par Pierre Vannier, CEO de Flint.

‍