Pourquoi résumer les dossiers médicaux pose-t-il problème ?
Les médecins passent beaucoup de temps à résumer des textes : comptes rendus d'examens, notes de suivi, historique des traitements. Les auteurs citent des données selon lesquelles un médecin peut passer jusqu'à 2 heures sur la paperasse pour chaque heure passée avec ses patients.
Ce travail fatigue et peut entraîner des erreurs. Les grands modèles de langage, ces IA qui comprennent et écrivent du texte comme ChatGPT, pourraient aider. Mais il fallait vérifier s'ils résument aussi bien que des professionnels, sans ajouter d'erreurs.
Comment l'équipe de Stanford a-t-elle mené l'étude ?
Les chercheurs ont testé 8 modèles de langage sur 4 tâches : résumer des comptes rendus de radiologie, des questions de patients, des notes de suivi à l'hôpital et des dialogues entre médecin et patient. Ils ont adapté les modèles de deux façons : en leur donnant des exemples dans la consigne, ou en les réentraînant légèrement. Le meilleur résultat est venu de GPT-4 guidé par des exemples.
Ensuite, 10 médecins (5 radiologues et 5 médecins hospitaliers) ont comparé ses résumés à ceux d'experts humains, sur 100 documents par tâche, pour 3 des 4 tâches. Ils ne savaient pas quel résumé venait de l'IA. Ils notaient l'exhaustivité (rien d'important n'est oublié), l'exactitude et la concision.
Quels résultats ont été obtenus ?
Le résumé de l'IA a été préféré dans 36 % des cas et jugé équivalent dans 45 % des cas. Celui de l'expert n'a été préféré que dans 19 % des cas. En moyenne, les résumés de l'IA étaient plus complets, sans être plus longs, et contenaient moins d'erreurs.
Les chercheurs ont aussi compté les informations inventées, appelées hallucinations. L'IA en a produit dans 5 % des résumés, contre 12 % pour les experts humains. Elle n'est pas parfaite pour autant : dans un exemple, elle a ajouté des problèmes de santé absents du dossier. Dans une analyse des risques, les médecins ont estimé que le résumé de l'expert aurait un peu plus souvent pu causer du tort (14 %) que celui de l'IA (12 %).
Les chiffres clés
- 36 %des cas où les médecins ont préféré le résumé de l'IA
- 45 %des cas où les deux résumés ont été jugés équivalents
- 19 %des cas où le résumé de l'expert humain a été préféré
- 5 % contre 12 %de résumés avec une information inventée : IA contre experts
Ton propre fil de santé, tenu avec Mima
Ces IA de résumé visent d'abord les médecins, pour alléger leurs comptes rendus. Dans l'étude, elles ont été testées sur des documents existants, pas en consultation, et un professionnel doit toujours relire ce qu'elles écrivent.
De ton côté, Mima garde une trace de tes rendez-vous, ordonnances et questions, et transforme ce que tu lui racontes en une image claire de tes symptômes au fil des jours. Avant un rendez-vous, elle prépare tes questions, par exemple : « Pouvez-vous relire avec moi le résumé de mon dossier ? »
Qu'est-ce que cela pourrait changer pour les patients ?
Si ces outils sont intégrés aux logiciels des hôpitaux, ils pourraient proposer un premier résumé que le médecin relit et corrige. Selon les auteurs, cela pourrait alléger la charge de documentation et laisser plus de temps pour les patients.
Pour un patient, l'effet serait indirect : un médecin moins pris par la paperasse, et des résumés de dossier plus complets. Mais cela reste à démontrer dans de vrais services.
Quelles sont les limites de cette étude ?
L'étude utilise des documents existants, issus de bases publiques, et non de vraies consultations en cours. Les auteurs rappellent qu'on ne peut pas exclure que certains de ces textes aient servi à entraîner GPT-4, ce qui pourrait l'avantager.
L'IA n'avait pas accès aux examens précédents du patient. Les besoins varient aussi selon la spécialité de chaque médecin, ce que l'étude n'a pas testé. Les auteurs demandent des études prospectives en conditions réelles et signalent un risque de biais à surveiller.
Questions fréquentes
L'IA peut-elle résumer un dossier médical ?
Dans cette étude, GPT-4 adapté avec des exemples a produit des résumés jugés équivalents ou meilleurs que ceux d'experts dans la majorité des cas. Il reste à le tester dans de vrais services.
L'IA invente-t-elle des informations dans les résumés médicaux ?
Oui, parfois : dans 5 % des résumés de l'IA, contre 12 % pour les experts humains. Une relecture par un professionnel reste nécessaire.
Quels documents ont été résumés ?
Des comptes rendus de radiologie, des questions de patients, des notes de suivi à l'hôpital et des dialogues entre médecin et patient.
Le médecin est-il remplacé par l'IA ?
Non. L'idée est de proposer un premier résumé que le médecin relit et valide, pour lui faire gagner du temps.
L'étude originale
Van Veen D, Van Uden C, Blankemeier L, et al. « Adapted large language models can outperform medical experts in clinical text summarization. » Nature Medicine, 27 février 2024. DOI : 10.1038/s41591-024-02855-5
Lire l'étude complète dans Nature MedicineCet article résume une étude scientifique et ne remplace pas un avis médical.