Pourquoi tester ChatGPT sur l'examen de médecine américain ?
Aux États-Unis, l'USMLE est une série de trois examens obligatoires pour obtenir le droit d'exercer la médecine. Le Step 1 porte surtout sur les sciences de base, le Step 2CK sur le raisonnement clinique, et le Step 3 est passé par de jeunes médecins. Les questions décrivent des cas de patients complexes, avec plusieurs diagnostics possibles.
ChatGPT est un grand modèle de langage : un programme entraîné sur d'énormes quantités de textes, qui produit des phrases en estimant quels mots ont le plus de chances de suivre. Il n'était pas conçu pour la médecine. Les chercheurs voulaient savoir jusqu'où il pouvait aller sur un examen aussi exigeant.
Qu'ont fait les chercheurs ?
L'équipe a pris 376 questions publiées en juin 2022 sur le site officiel de l'USMLE, donc absentes des données d'entraînement de ChatGPT. Les questions avec des images ont été retirées : il en restait 350.
Chaque question a été posée de trois façons : comme une question ouverte, comme un QCM, puis comme un QCM où ChatGPT devait justifier chaque choix. Une nouvelle conversation était ouverte à chaque fois. Deux médecins ont noté séparément l'exactitude, la cohérence entre réponse et explication, et la présence d'idées utiles et non évidentes.
Les résultats : près du seuil de réussite
En mettant de côté les réponses où ChatGPT restait indécis, ses scores ont dépassé 50 % aux trois étapes, et 60 % dans certaines analyses. Le seuil de réussite tourne autour de 60 %. En comptant les réponses indécises comme fausses, les scores étaient plus bas, parfois sous 40 %. Le Step 1, réputé le plus difficile, était en général le moins bien réussi.
Les explications de ChatGPT étaient cohérentes avec sa réponse dans 94,6 % des cas. Et 88,9 % des réponses contenaient au moins une idée jugée utile pour un étudiant. Quand ChatGPT se trompait, c'était surtout par manque d'information et hésitation.
Les chiffres clés
- 350questions officielles d'entraînement posées à ChatGPT, sans images
- Plus de 50 %de bonnes réponses aux trois étapes, et plus de 60 % dans certaines analyses
- 60 %environ : le seuil de réussite de l'USMLE, qui varie selon les années
- 94,6 %des réponses étaient cohérentes avec l'explication donnée par ChatGPT
Comprendre en mots simples, décider avec ton médecin
Cette étude montre qu'une IA peut bien répondre à des questions d'examen de médecine, pas qu'elle sait soigner. Pour ta santé, les décisions se prennent avec ton équipe médicale, qui connaît ton dossier.
Mima n'est pas un médecin. Elle t'explique en mots simples tes symptômes, tes traitements et leurs effets secondaires, puis rassemble ce qui reste flou pour le rendez-vous. Une question à poser : « Ce que j'ai lu sur ce traitement s'applique-t-il à mon cas ? »
Ce que ça change pour les patients
Cette étude porte sur l'enseignement de la médecine, pas sur les soins. Les auteurs pensent que ce type d'IA pourrait aider les étudiants à réviser, et peut-être un jour soutenir les décisions médicales. Dans leur propre clinique, des soignants l'ont essayé pour simplifier des comptes rendus de radiologie à l'intention des patients.
Réussir un QCM ne veut pas dire savoir examiner un patient. Un chatbot peut se tromper avec assurance : ses réponses ne remplacent pas l'avis d'un médecin.
Quelles sont les limites de cette étude ?
Le nombre de questions est petit, et il s'agit de questions d'entraînement, pas du vrai examen. Les questions avec images, fréquentes en médecine, ont été exclues. La notation par des médecins reste en partie subjective.
L'étude a testé la version de ChatGPT disponible fin 2022 ; les modèles ont beaucoup changé depuis. Enfin, les auteurs reconnaissent qu'il faudra des études avec de vrais étudiants pour savoir si ChatGPT les aide vraiment à apprendre.
Questions fréquentes
ChatGPT a-t-il réussi l'examen de médecine ?
Sur 350 questions d'entraînement de l'examen américain USMLE, ChatGPT a atteint ou frôlé le seuil de réussite d'environ 60 %. Il n'a pas passé le vrai examen dans des conditions officielles.
Qu'est-ce que l'USMLE ?
C'est l'examen en trois étapes que doivent réussir les médecins pour exercer aux États-Unis. Il couvre les sciences de base, le raisonnement clinique et la prise en charge des patients.
Peut-on utiliser ChatGPT pour un diagnostic médical ?
Non, cette étude ne le montre pas. Elle mesure des connaissances sur des QCM, pas la capacité à soigner, et un chatbot peut se tromper : l'avis d'un médecin reste nécessaire.
Quelle version de ChatGPT a été testée ?
La version disponible fin 2022, basée sur le modèle GPT-3.5. Des versions plus récentes existent depuis.
L'étude originale
Kung TH, Cheatham M, Medenilla A, et al. « Performance of ChatGPT on USMLE: Potential for AI-assisted medical education using large language models » PLOS Digital Health, 9 février 2023. DOI : 10.1371/journal.pdig.0000198
Lire l'étude complète dans PLOS Digital HealthCet article résume une étude scientifique et ne remplace pas un avis médical.