Chatbot ou médecin : qui répond le mieux aux questions des patients ?

Pourquoi les médecins croulent-ils sous les messages des patients ?

Avec le développement des consultations à distance, les patients écrivent de plus en plus souvent à leurs soignants. Chaque message demande du temps de réponse, et cette charge s'ajoute au reste du travail. Les auteurs rappellent qu'elle contribue à l'épuisement professionnel des soignants.

D'où une idée : un assistant d'intelligence artificielle pourrait écrire un premier brouillon de réponse, que le médecin relirait et corrigerait. Encore faut-il savoir si ces réponses sont justes et humaines.

Comment les chercheurs ont-ils comparé chatbot et médecins ?

L'équipe a utilisé un forum public, r/AskDocs sur Reddit, où des internautes posent des questions de santé et où des médecins dont le statut est vérifié répondent. Elle a tiré au hasard 195 échanges d'octobre 2022.

Chaque question a ensuite été posée telle quelle à ChatGPT, un chatbot, c'est-à-dire un programme qui répond en langage courant. Une nouvelle session était ouverte à chaque fois, pour que les questions précédentes n'influencent pas la réponse.

Une équipe de soignants diplômés a lu la question avec les deux réponses, sans savoir laquelle venait du médecin. Chaque échange a été évalué trois fois. Les évaluateurs choisissaient la meilleure réponse et notaient la qualité de l'information et l'empathie, c'est-à-dire la capacité à se mettre à la place de la personne.

Quels résultats ont été obtenus ?

Sur 585 évaluations, la réponse du chatbot a été préférée dans 78,6 % des cas. Les réponses des médecins étaient bien plus courtes : 52 mots en moyenne, contre 211 pour le chatbot.

La part des réponses jugées de bonne ou très bonne qualité atteignait 78,5 % pour le chatbot, contre 22,1 % pour les médecins. Pour l'empathie, 45,1 % des réponses du chatbot étaient jugées empathiques ou très empathiques, contre 4,6 % de celles des médecins.

Les auteurs concluent que, dans ce contexte de forum, le chatbot a produit des réponses de qualité et empathiques.

Qu'est-ce que cela pourrait changer pour les patients ?

Les auteurs proposent d'étudier ces outils dans de vrais services de soins, par exemple pour rédiger un brouillon que le médecin relit et modifie avant envoi. Le médecin resterait responsable de la réponse.

Si cela fonctionnait, les patients pourraient recevoir des réponses plus complètes, et les soignants gagner du temps. Mais cela reste à démontrer : les auteurs appellent à des essais randomisés pour savoir si ces assistants améliorent vraiment les réponses, la fatigue des soignants et la santé des patients.

Quelles sont les limites de cette étude ?

Les questions venaient d'un forum public, pas d'une consultation. Un médecin qui répond bénévolement sur internet à un inconnu n'écrit pas comme il le ferait à son propre patient, dont il connaît le dossier.

Les évaluateurs jugeaient la qualité et l'empathie, mais l'étude ne vérifie pas si les conseils ont aidé les personnes. Les réponses plus longues du chatbot ont pu influencer leur préférence. Enfin, un chatbot peut se tromper avec assurance : il ne remplace ni l'examen, ni le dossier médical, ni le jugement d'un soignant.