Les LLM, tels que GPT-4 ou LLaMA, sont devenus des outils de pointe pour le traitement automatisé du langage naturel. Toutefois, leur application dans un cadre hospitalier soulève des questions techniques, éthiques et légales. Le CHU de Montpellier s’est lancé dans une preuve de concept innovante : classifier les feedbacks des patients pour optimiser l’organisation interne et améliorer les soins. Cette initiative illustre les défis inhérents à l'adoption des LLM dans des environnements réglementés.

Redécouvrez la conférence tenue par Zeno Loï, lors de la conférence MedTech_IA organisée par Flint et KYomed INNOV.

‍

La collecte des données textuelles en milieu hospitalier

La gestion des verbatims patients constitue un défi majeur. Ces données proviennent notamment de la plateforme nationale eSATIS et comprennent des feedbacks en texte libre. Au CHU de Montpellier, environ 15 000 verbatims annuels sont collectés, mais non classifiés automatiquement.

‍

Problématique technique :
La classification doit répondre à des exigences de précision, d’exhaustivité et surtout d’explicabilité, une contrainte incontournable dans le secteur hospitalier. Jusqu’à présent, des systèmes basés sur des règles comme les regex dominaient. Bien que performants, ils restent limités face à la diversité et la complexité des retours.

Les enjeux pour les MedTech :

• Volume croissant de données : Les feedbacks augmentent grâce à des canaux diversifiés.
• Complexité sémantique : Les retours patients contiennent des informations parfois implicites, demandant des outils sophistiqués pour leur interprétation.
• Conformité légale : L’utilisation des LLM doit garantir la confidentialité des données.

Les modèles LLM testés et leurs limites

Le projet a comparé plusieurs technologies, allant des approches traditionnelles aux modèles avancés comme GPT-4 et LLaMA. Trois grands défis ont émergé :

• Précision et recall des modèles
  Les LLM offrent un bon rappel (recall), identifiant de nombreuses catégories pertinentes, mais leur précision est parfois insuffisante, générant des classifications erronées.
• Hallucinations
  Un des principaux obstacles est le taux d’hallucinations des LLM, c’est-à-dire leur tendance à produire des résultats non fiables. Par exemple, GPT-4 seul affichait un taux d’hallucination de 16 %, inacceptable dans un cadre médical.
• Explicabilité
  La complexité des LLM rend difficile l’interprétation des résultats. Or, dans un hôpital, chaque décision doit être traçable.

Une méthodologie hybride pour optimiser l’usage des LLM

Face à ces défis, l’équipe du CHU de Montpellier a développé une méthode innovante combinant deux approches :

• Self-consistency
  LLM est utilisé plusieurs fois pour une même tâche. Les résultats sont croisés, et seules les classifications cohérentes entre elles sont validées.
• Logical Consistency Assessment (LCA)
  Cette méthode impose aux LLM de justifier leurs classifications en suivant une structure logique rigoureuse, validée par un ensemble d’implications préalablement définies.

Résultats :
En combinant ces deux méthodes dans un pipeline, les hallucinations ont été réduites à un niveau quasi nul (3 sur 12 600 classifications). Les performances (précision : 90 %, recall : 80 %) dépassent même celles des experts humains pour certaines tâches.

‍

Perspectives pour la MedTech et les LLM

Ce projet ouvre la voie à des applications encore plus ambitieuses. À court terme, il s’agira de déployer cette méthodologie à grande échelle, tout en réduisant les coûts en optimisant les modèles (fine-tuning). À long terme, l’objectif est d’appliquer ces principes aux données chaudes des patients, par exemple pour inclure automatiquement des critères de recherche clinique.

Pour la MedTech, cela signifie que l’intégration des LLM dans les systèmes de gestion hospitalière est non seulement faisable, mais potentiellement révolutionnaire. Les entreprises spécialisées en IA et santé ont ici une opportunité unique de collaborer avec les établissements pour co-développer des solutions robustes, explicables et conformes.

LLM et MedTech, un partenariat prometteur

Le cas d’usage du CHU de Montpellier illustre parfaitement les potentialités et limites des LLM dans un environnement hospitalier. Grâce à des méthodologies hybrides, il est possible d’atteindre des niveaux de performance inédits tout en respectant les contraintes spécifiques au secteur. Pour les chefs d’entreprise et experts IA, ce projet est un appel à innover dans la MedTech, un domaine où l’intelligence artificielle a un rôle clé à jouer.

Pour approfondir, découvrez d’autres articles sur les technologies IA en santé sur le blog de Flint.

‍

‍