Médecins avec ChatGPT : un diagnostic pas meilleur

Pourquoi cette question est-elle importante ?

Les grands modèles de langage comme ChatGPT réussissent bien des examens de médecine. Beaucoup de médecins commencent à s'en servir. Mais réussir un examen n'est pas la même chose qu'aider un médecin à mieux raisonner face à un patient.

Le raisonnement diagnostique, c'est tout le chemin qui mène au diagnostic : envisager plusieurs maladies possibles, peser les indices pour et contre, puis choisir les examens suivants. Les chercheurs ont voulu savoir si un chatbot améliore ce chemin.

Comment l'essai a-t-il été mené ?

Fin 2023, 50 médecins de médecine générale, de médecine interne ou d'urgence (26 confirmés et 24 internes) ont participé, en visio ou sur place. Ils ont été tirés au sort entre deux groupes : l'un avait accès à ChatGPT Plus (GPT-4) en plus des ressources habituelles, comme les bases de référence médicales ou un moteur de recherche, l'autre seulement aux ressources habituelles.

Chacun disposait de 60 minutes pour analyser jusqu'à 6 cas cliniques écrits, construits à partir de vrais patients. Des experts, qui ne savaient pas à quel groupe appartenait chaque copie, ont noté le raisonnement avec une grille détaillée. Les chercheurs ont aussi fait répondre le chatbot seul aux mêmes cas.

Quels résultats ont été obtenus ?

Les médecins avec ChatGPT ont obtenu un score médian de 76 %, contre 74 % pour ceux qui n'avaient que leurs outils habituels. Cet écart de 2 points n'est pas statistiquement significatif : il peut s'expliquer par le hasard. Le temps passé par cas n'a pas non plus changé de façon nette.

Utilisé seul, le chatbot a obtenu un score supérieur de 16 points à celui du groupe aux outils habituels. Les auteurs en concluent qu'avoir l'outil ne suffit pas : il faut apprendre à bien travailler avec lui.

Les chiffres clés

50médecins tirés au sort entre deux groupes (avec ou sans ChatGPT)
76 % contre 74 %score médian de raisonnement avec ChatGPT et avec les outils habituels
16 pointsd'avance pour ChatGPT utilisé seul, face au groupe aux outils habituels

Arriver chez ton médecin avec une histoire claire

Cette étude rappelle qu'un outil ne fait pas tout : ce qui compte, c'est la qualité des informations et la façon de travailler ensemble. Ton récit des symptômes reste une pièce clé du raisonnement de ton médecin.

Mima n'est pas un médecin et ne pose aucun diagnostic. Elle t'aide à noter ce que tu ressens au fil des jours et à préparer tes questions, pour donner à ton médecin des informations précises. Une question à poser : « Quelles autres causes faut-il écarter ? »

Essayer Mima gratuitement

Qu'est-ce que ça change pour les patients ?

Pour l'instant, cette étude invite à la prudence plutôt qu'à l'enthousiasme. Donner un chatbot à un médecin n'améliore pas automatiquement la qualité de son raisonnement.

Le score plus élevé du chatbot seul ne veut pas dire qu'il faut s'en remettre à lui. Les cas étaient écrits et complets, alors qu'en vrai, les informations arrivent par morceaux et il faut examiner la personne. Les auteurs plaident pour former les soignants et mieux concevoir le travail entre humains et IA.

Quelles sont les limites ?

L'essai ne compte que 50 médecins et 6 cas, ce qui ne couvre pas la variété des situations réelles. Il porte sur un seul outil, testé fin 2023, alors que ces technologies évoluent vite.

Les médecins n'avaient reçu aucune formation pour bien formuler leurs questions au chatbot. Enfin, aucun patient réel n'était en jeu : l'effet sur la santé des personnes reste à mesurer.

Questions fréquentes

ChatGPT aide-t-il les médecins à poser un diagnostic ?

Dans cet essai, pas de façon nette : 76 % avec ChatGPT contre 74 % sans, un écart qui peut être dû au hasard.

Faut-il demander son diagnostic à ChatGPT plutôt qu'à un médecin ?

Non. Le chatbot seul a eu un meilleur score sur des cas écrits et complets, ce qui ne reflète pas une vraie consultation avec examen et suivi.

Combien de médecins ont participé ?

50 médecins, dont 26 confirmés et 24 internes, en médecine générale, interne ou d'urgence.

Quelle IA a été testée ?

ChatGPT Plus, avec le modèle GPT-4 d'OpenAI, utilisé en plus des ressources médicales habituelles.

L'étude originale

Goh E, Gallo R, Hom J, et al. « Large Language Model Influence on Diagnostic Reasoning: A Randomized Clinical Trial » JAMA Network Open, 1 octobre 2024. DOI : 10.1001/jamanetworkopen.2024.40969

Lire l'étude complète dans JAMA Network Open

Cet article résume une étude scientifique et ne remplace pas un avis médical.