Pourquoi tester ChatGPT sur des cas de diagnostic difficiles ?
Les IA génératives comme GPT-4 répondent à des questions écrites avec des textes détaillés. Elles obtiennent de très bons scores aux examens de médecine. Mais réussir un QCM n'est pas la même chose que trouver ce qu'a un patient quand les signes sont rares ou trompeurs.
Pour le mesurer, les chercheurs ont utilisé un outil ancien : les conférences clinico-pathologiques du New England Journal of Medicine, l'une des revues médicales les plus lues. Chaque conférence raconte un cas réel et compliqué, puis révèle le diagnostic final, confirmé par l'analyse des tissus. Depuis les années 1950, ces cas servent à tester les logiciels d'aide au diagnostic.
Comment l'expérience a-t-elle été menée ?
Trois médecins du Beth Israel Deaconess Medical Center, à Boston, ont pris les cas publiés de janvier 2021 à décembre 2022. Pour chaque cas, ils ont copié le récit jusqu'au moment où l'expert commence à raisonner, puis l'ont collé dans GPT-4 avec la même consigne : donner une liste de diagnostics possibles, du plus probable au moins probable.
Chaque cas a été traité dans une conversation séparée, pour que le modèle ne profite pas des cas précédents. Sur 80 cas, 10 ont été écartés (pas de vraie question de diagnostic, ou texte trop long). Deux médecins ont noté chaque réponse sur une échelle de 0 à 5, et un troisième a tranché les désaccords.
Les résultats : souvent dans la liste, moins souvent en tête
Sur les 70 cas, le bon diagnostic figurait dans la liste de GPT-4 dans 64 % des cas (45 cas). Il était en première position dans 39 % des cas (27 cas). La liste comptait en moyenne 9 diagnostics, et quand le bon y était, il arrivait en moyenne vers la 2e ou 3e place.
La note de qualité moyenne était de 4,2 sur 5. Les auteurs la jugent favorable par rapport aux anciens logiciels d'aide au diagnostic : une version antérieure de l'un d'eux obtenait 3,8 sur la même échelle.
Les chiffres clés
- 70cas cliniques difficiles du NEJM analysés (sur 80, 10 exclus)
- 64 %des cas où le bon diagnostic figurait dans la liste de pistes de GPT-4
- 39 %des cas où le premier diagnostic proposé par GPT-4 était le bon
- 9diagnostics possibles proposés en moyenne par GPT-4 pour chaque cas
Arriver chez ton médecin avec les bonnes questions
Cette étude ne change pas ton parcours : GPT-4 a été testé sur des cas publiés, et le diagnostic reste l'affaire de ton médecin, qui t'examine et demande les bons examens.
Mima ne pose pas de diagnostic. Elle t'aide à décrire tes symptômes au fil des jours, en une image claire, et à rassembler tes questions avant le rendez-vous, comme : « Quelles autres pistes avez-vous envisagées ? » Elle t'explique aussi les termes médicaux en mots simples.
Ce que cela change, et ne change pas, pour les patients
L'étude suggère qu'une IA générative pourrait servir d'aide à la réflexion pour les médecins face aux cas compliqués, en leur rappelant des pistes à ne pas oublier. Les auteurs parlent d'un « complément prometteur » au raisonnement humain.
Elle ne montre pas que GPT-4 sait poser un diagnostic à la place d'un médecin. Le modèle a reçu des récits complets, écrits par des experts, alors qu'en consultation il faut poser des questions, examiner et demander des analyses. Pour un symptôme qui inquiète, l'avis d'un professionnel de santé reste indispensable.
Quelles sont les limites de cette étude ?
L'échantillon est petit : 70 cas, tous issus d'une seule revue. Ces cas sont des énigmes choisies pour leur difficulté, pas le quotidien d'un cabinet médical. GPT-4 n'a pas été comparé à des médecins sur les mêmes cas.
La notation garde une part de subjectivité : les deux correcteurs n'étaient d'accord que dans 66 % des cas. Le modèle est aussi une « boîte noire » dont on ignore les biais. Les auteurs demandent des études sur de vraies consultations, une fois les questions de confidentialité réglées.
Questions fréquentes
ChatGPT peut-il poser un diagnostic médical ?
Dans cette étude, GPT-4 a cité le bon diagnostic dans sa liste pour 64 % de 70 cas publiés. Cela ne fait pas de lui un médecin : il n'examine pas, et l'étude ne porte pas sur de vrais patients.
Qu'est-ce qu'un cas clinique du NEJM ?
C'est un cas réel et difficile publié par le New England Journal of Medicine, avec le diagnostic final révélé à la fin. Ces cas servent depuis longtemps à tester les outils d'aide au diagnostic.
GPT-4 fait-il mieux qu'un médecin ?
L'étude ne permet pas de le dire : GPT-4 n'a pas été comparé à des médecins sur les mêmes cas.
Peut-on utiliser ChatGPT pour comprendre ses symptômes ?
Ce type d'outil peut aider à formuler des questions, mais il peut se tromper. Pour un symptôme qui inquiète, il faut consulter un médecin ou, en cas d'urgence, appeler le 15.
L'étude originale
Kanjee Z, Crowe B, Rodman A « Accuracy of a Generative Artificial Intelligence Model in a Complex Diagnostic Challenge » JAMA, 15 juin 2023. DOI : 10.1001/jama.2023.8288
Lire l'étude complète dans JAMACet article résume une étude scientifique et ne remplace pas un avis médical.