Une intelligence artificielle peut-elle réussir un examen de médecine ?

Pourquoi tester une IA sur des questions de médecine ?

Les grands modèles de langage sont des programmes entraînés sur d'énormes quantités de textes pour écrire des réponses en langage courant. Beaucoup de gens leur posent déjà des questions de santé.

En médecine, une réponse fausse peut faire du mal. Les auteurs rappellent que les tests habituels se limitent souvent à des questionnaires à choix multiples notés automatiquement, ce qui ne suffit pas pour juger si une réponse est sûre et utile.

Comment l'étude a-t-elle été menée ?

L'équipe de Google a créé MultiMedQA, un ensemble de sept jeux de questions : des questions d'examens de médecine, des questions de recherche et des questions de grand public. L'un d'eux, HealthSearchQA, réunit 3 173 questions de santé couramment tapées dans les moteurs de recherche.

Elle a testé PaLM, un modèle de 540 milliards de paramètres (les réglages internes du modèle), et sa version Flan-PaLM, entraînée à suivre des consignes. Puis elle a mis au point Med-PaLM, une version ajustée au domaine médical à partir de quelques exemples rédigés par des médecins.

Au-delà des questionnaires, des médecins ont relu les réponses longues selon plusieurs critères : exactitude, compréhension, raisonnement, risque de nuire et biais.

Quels résultats ont été obtenus ?

Sur les questions de type examen de médecine américain, Flan-PaLM a obtenu 67,6 % de bonnes réponses, soit plus de 17 points au-dessus du meilleur résultat publié jusque-là.

Mais la relecture par les médecins a révélé des failles. Seules 61,9 % des réponses longues de Flan-PaLM étaient jugées conformes au consensus scientifique, et 29,7 % pouvaient conduire à un effet nuisible.

Avec Med-PaLM, 92,6 % des réponses étaient conformes au consensus, au niveau des réponses écrites par des médecins (92,9 %). Les réponses pouvant nuire tombaient à 5,9 %, proche des médecins (5,7 %). Les auteurs concluent toutefois que Med-PaLM reste inférieur aux médecins.

Qu'est-ce que cela change pour les patients ?

Cette étude ne met aucun outil entre les mains des patients. Elle montre que ces modèles contiennent beaucoup de connaissances médicales, mais qu'un bon score à un examen ne garantit pas une réponse sûre.

Elle propose surtout une méthode pour évaluer ces outils avec des médecins, au-delà des questionnaires. Pour un patient, le message est clair : une réponse d'IA peut aider à comprendre ou à préparer une question, pas à remplacer l'avis d'un soignant.

Quelles sont les limites de cette étude ?

Les questions sont des tests, pas de vrais patients avec leur histoire, leurs examens et leurs traitements. Réussir un questionnaire ne dit rien de la capacité à soigner.

La relecture par des médecins est décrite par les auteurs comme une évaluation pilote, sur un nombre limité de réponses et de relecteurs. Ils appellent à d'autres évaluations, notamment sur la sécurité, l'équité et les biais. Enfin, les modèles évoluent vite : ces chiffres décrivent ceux de 2023.