Les LLM multimodaux: révolutionner l’extraction de données en MedTech

2 décembre 2024

Cet article explore cette avancée technologique et son impact dans le domaine médical, une lecture particulièrement adaptée aux Tech Leads et experts Data souhaitant comprendre comment intégrer des LLM dans des pipelines techniques complexes.

Lors de la conférence MedTech_IA, orchestrée par Flint et KYomed INNOV, Samuel Roze, CTO de KOR, a captivé l’audience en dévoilant une solution innovante exploitant des modèles de langage de grande taille (LLM). Ces technologies avancées permettent de transformer des documents médicaux complexes en données structurées prêtes à l’emploi. Découvrez comment intégrer des LLM dans des pipelines techniques complexes.

Structurer l’instructuré : un défi médical et technologique

Les données médicales, bien que riches d'informations, sont souvent dispersées dans des formats non structurés : rapports PDF, analyses biologiques sous forme d’images ou encore notes manuscrites. Ce manque de structuration rend leur exploitation difficile, notamment pour la création de recommandations personnalisées ou l’interopérabilité entre systèmes.

C’est ce défi que KOR a choisi de relever. En utilisant des LLM multimodaux, capables de traiter à la fois du texte et des images, l’entreprise a développé une solution qui convertit ces données disparates en objets standardisés conformes à des ontologies médicales comme SNOMED CT ou LOINC. Cette transformation permet non seulement de visualiser les informations extraites, mais aussi de les intégrer dans des systèmes de gestion médicale tout en répondant aux contraintes réglementaires.

Un exemple concret : un patient peut importer ses résultats d’analyse biologique via une application mobile ou desktop. Ces documents, après traitement par le pipeline développé par KOR, permettent de générer un plan de suivi adapté, intégrant des recommandations lifestyle ou des orientations vers un parcours de soins spécifique.

La force des LLM multimodaux : une pipeline d’extraction performante

KOR a conçu une pipeline en quatre étapes principales pour maximiser l’efficacité de l’extraction et garantir la qualité des données structurées générées.

  • Prétraitement des documents
    Avant toute extraction, les fichiers (PDF, images) sont convertis en images compressées et anonymisées. Ce prétraitement répond à des impératifs techniques, comme la limitation de la taille des prompts pour les LLM, mais également légaux, en garantissant la confidentialité des données sensibles.
  • Extraction par LLM multimodaux
    Les documents traités sont ensuite analysés par plusieurs LLM capables de reconnaître et d’extraire des marqueurs biologiques spécifiques (nom, valeur, unité et valeurs de référence). Ces modèles, entraînés pour gérer la diversité des formats médicaux, affichent des performances impressionnantes, atteignant un F1-score de 0.95.
  • Validation par consensus
    Une étape cruciale de la pipeline repose sur une collaboration entre plusieurs modèles. En cas de désaccord sur une extraction, une validation manuelle est effectuée par des experts médicaux. Cette combinaison entre intelligence artificielle et expertise humaine permet d’atteindre un équilibre entre précision et exhaustivité.
  • Post-traitement et structuration finale
    Les données extraites sont transformées en objets conformes aux standards médicaux, comme le format Fire Observation. Cela garantit leur réutilisabilité dans des systèmes cliniques tout en maintenant une interopérabilité maximale.

Cette approche a permis à KOR de réduire significativement le temps humain nécessaire pour la revue des documents, tout en augmentant la fiabilité des informations générées.

L’innovation continue grâce aux stratégies d’optimisation

Au-delà de l’architecture de la pipeline, l’équipe de KOR a déployé des stratégies avancées pour optimiser les performances des modèles utilisés. L’une des découvertes majeures a été l’efficacité du few-shot learning. En intégrant dans les prompts des exemples spécifiques, adaptés aux contextes médicaux, les LLM multimodaux ont démontré une capacité accrue à comprendre et à extraire les données de manière précise.

Une autre avancée réside dans l’adoption d’une approche collaborative entre modèles. En comparant les résultats de plusieurs LLM pour une même tâche, KOR a pu identifier les extractions les plus fiables et réduire les risques d’erreurs ou d’hallucinations. Par exemple, si deux modèles sur trois s’accordent sur une valeur, celle-ci est validée comme pertinente. Cette stratégie de consensus a non seulement amélioré la précision des extractions, mais également fluidifié le travail des experts chargés de la validation finale.

Enfin, l’adaptabilité des modèles joue un rôle clé. À mesure que de nouveaux modèles sont développés et disponibles sur le marché, l’équipe peut facilement les intégrer dans la pipeline existante, tirant parti des dernières avancées technologiques sans nécessiter de refonte majeure.

Vers un avenir prometteur pour l’IA en MedTech

L’approche présentée par Samuel Roze met en lumière tout le potentiel des LLM dans le secteur de la MedTech. En permettant une exploitation rapide et fiable des données médicales, ces technologies ouvrent la voie à des solutions de santé plus personnalisées et plus efficaces. Cependant, elles posent également des questions éthiques et légales importantes, notamment en matière de confidentialité et de responsabilité.

Pour les entreprises souhaitant se lancer dans des projets similaires, les leçons de KOR sont précieuses : investir dans une structuration robuste, adopter des stratégies d’optimisation telles que le few-shot learning et privilégier une collaboration étroite entre IA et expertise humaine.

Pour approfondir le sujet, continuez votre exploration des applications des LLM en MedTech avec les articles publiés sur le blog de Flint :

Enfin, découvrez comment la Gen AI Factory de Flint peut vous accompagner dans vos projets IA : Gen AI Factory.

En combinant expertise technique et innovations IA, le futur de la MedTech promet des avancées révolutionnaires. Et vous, êtes-vous prêt à faire le pas vers cette transformation ?