LLM open-source, une approche novatrice et performante pour extraire des données à partir de comptes-rendus de radiologie !
Cette étude monocentrique rétrospective, menée par l’université de Lille, a évalué l'extraction automatique d'informations à partir de comptes-rendus d'IRM cérébrales de patients consultant aux urgences pour céphalées, en utilisant le Large Language Model (LLM) open-source Vicuna 13-B.
Quatre tâches ont été définies : détection de céphalées, identification de l'injection de produit de contraste, classification de l'examen en "normal" ou "anormal", détection de la causalité entre les résultats de l'examen et les céphalées.
Vicuna 13-B atteint un score F1 élevé pour la détection de céphalées (98.0), l'identification de l'injection de contraste (99.6) et la classification des examens (97.3). La performance est légèrement inférieure pour la tâche plus complexe de détection de causalité (85.4).
L'étude souligne que les LLM open-source pourraient aider les radiologues dans leur pratique clinique mais aussi faciliter la recherche en automatisant l'extraction de données à partir de rapports écrits. Elle met en avant les avantages des modèles locaux, tels que le respect de la confidentialité des données et les coûts monétaires réduits.
Cependant, des recherches supplémentaires sont nécessaires pour tenir compte de la variabilité des styles de rédaction, évaluer l'application à des textes médicaux plus complexes et non structurés, ainsi que l'intégration de LLM plus récents.
Référence de l’article :
Le Guellec B, Lefèvre A, Geay C, et al (2024) Performance of an Open-Source Large Language Model in Extracting Information from Free-Text Radiology Reports. Radiol Artif Intell 6:e230364. https://doi.org/10.1148/ryai.230364
Références complémentaires pour aller plus loin :
Pons E, Braun LMM, Hunink MGM, Kors JA (2016) Natural Language Processing in Radiology: A Systematic Review. Radiology 279:329–343. https://doi.org/10.1148/radiol.16142770
Li H, Moon JT, Purkayastha S, et al (2023) Ethics of large language models in medicine and medical research. Lancet Digit Health 5:e333–e335. https://doi.org/10.1016/S2589-7500(23)00083-3
Vicuna: An Open-Source Chatbot Impressing GPT-4 with 90%* ChatGPT Quality | LMSYS Org. https://lmsys.org/blog/2023-03-30-vicuna. Accessed 28 Jul 2024
Bhayana R, Krishna S, Bleakney RR (2023) Performance of ChatGPT on a Radiology Board-style Examination: Insights into Current Strengths and Limitations. Radiology 307:e230582. https://doi.org/10.1148/radiol.230582
Adams LC, Truhn D, Busch F, et al (2023) Leveraging GPT-4 for Post Hoc Transformation of Free-text Radiology Reports into Structured Reporting: A Multilingual Feasibility Study. Radiology 307:e230725. https://doi.org/10.1148/radiol.230725