La promesse des chatbots de santé a déjà échoué – Mother Jones

Luttez contre la désinformation : inscrivez-vous gratuitement Mère Jones au quotidien newsletter et suivez l’actualité qui compte.

Il n’y a pas longtemps, J’ai remarqué un nouveau terme tendance dans les cercles du bien-être sur les réseaux sociaux : « spécialiste certifié en hormones ». J’aurais pu enquêter à l’ancienne : chercher sur Google, faire appel à un ou deux experts, fouiller dans la littérature scientifique. J’ai l’habitude de rechercher des certifications suspectes pour mon podcast, Conspiritualité, qui explique comment la désinformation sur la santé se métastase en ligne. Au lieu de cela, j’ai essayé quelque chose de nouveau. J’ai demandé à quelques chatbots : de quelle formation une personne a-t-elle besoin pour se spécialiser dans les hormones féminines ?

Les robots m’ont orienté vers un « programme de formation continue avancé de 12 mois à votre rythme en matière de santé hormonale » dirigé par Ashe Milkovic, praticien de Reiki et homéopathe. Ensuite, les choses sont devenues vraiment intéressantes : « Alternativement, on peut devenir endocrinologue », ajoute l’IA, avant de citer les 13 années d’études requises, y compris la faculté de médecine et les résidences. Pour le lecteur occasionnel, « alternativement » met fondamentalement ces deux options sur un pied d’égalité – peu importe que l’une soit un programme rigoureux ancré dans la science tandis que l’autre est un cours d’un an inventé par une personne sans formation médicale. Lorsque j’ai demandé à ChatGPT-4 si le programme de certification de Milkovic était légitime, il m’a répondu que la formation faisait partie du domaine de la « médecine fonctionnelle », oubliant de mentionner qu’il s’agissait d’une discipline pseudo-médicale non reconnue par aucun des 24 conseils qui certifient les médecins spécialistes. .

Il ne s’agissait pas d’un échec isolé du chatbot. Lorsque j’ai demandé s’il existait des preuves étayant les prétendus bienfaits pour la santé des lavements au café à la mode, dont les partisans prétendent traiter le cancer et l’autisme, Copilot de Microsoft m’a proposé des liens pour acheter des kits. Lorsque je lui ai demandé d’examiner l’affirmation selon laquelle les suppléments de curcuma pourraient guérir « l’inflammation » et le « stress oxydatif », il m’a mis en garde contre leur consommation en raison de niveaux excessifs de curcumine, puis m’a indiqué des sites vendant – oui ! – des suppléments de curcuma. (Les lavements au café ne se sont révélés efficaces que pour provoquer des effets secondaires dangereux. Certaines preuves suggèrent que les plats contenant du curcuma peuvent avoir des avantages, mais les suppléments ne sont pas bien absorbés.)

Même lorsque les robots injectaient des notes de scepticisme, les liens qu’ils fournissaient semblaient souvent contredire leurs conseils. Lorsque j’ai demandé : « Quelles sont les thérapies alternatives crédibles pour traiter le cancer ? » Copilot m’a assuré que la médecine alternative ne pouvait pas guérir le cancer, mais elle était liée au Cancer Center for Healing d’Irvine, en Californie. Parmi ses offres figurent l’oxygénothérapie hyperbare (qui, malgré les allégations farfelues sur Internet, ne s’est avérée efficace que pour une poignée de conditions impliquant un manque d’oxygène, prévient la FDA) et l’ozonothérapie (l’agence considère l’ozone comme un gaz toxique sans application médicale connue). .

Nous savons que les chatbots sont des entités peu fiables qui ont « halluciné » les potins des célébrités et déclaré leur amour pour New York Times journalistes. Mais les enjeux sont bien plus importants lorsqu’ils amplifient des allégations de santé douteuses produites par des influenceurs et des praticiens de médecines alternatives qui pourraient en tirer profit. Pire encore, les robots créent la confusion en mélangeant la propagande du bien-être avec la recherche réelle. « Il existe actuellement une mentalité selon laquelle l’IA fournit des informations plus crédibles que les médias sociaux, en particulier lorsque vous effectuez une recherche dans le contexte d’une recherche », explique Renée DiResta, spécialiste de la désinformation à l’Observatoire Internet de Stanford. Les consommateurs doivent vérifier eux-mêmes l’approvisionnement des robots, ajoute-t-elle : « Une grande responsabilité incombe à l’utilisateur. »

Un mauvais approvisionnement n’est qu’une partie du problème. Notamment, l’IA permet à quiconque de générer du contenu sur la santé qui des sons faisant autorité. La création de sites Web complexes de contenu nécessitait auparavant des connaissances techniques. Mais « désormais, vous n’avez plus besoin d’ordinateurs spécialisés pour réaliser [believable AI-generated material] », déclare Christopher Doss, chercheur en politiques pour l’organisation à but non lucratif RAND Corporation. « Des défauts évidents existent dans certains deepfakes, mais la technologie ne fera que s’améliorer. »

Exemple concret : le pharmacien clinicien et chercheur en IA Bradley Menz a récemment utilisé une IA pour produire une désinformation convaincante sur la santé, y compris des références académiques fabriquées et de faux témoignages, pour une étude à l’Université Flinders en Australie. À l’aide d’un grand modèle linguistique accessible au public, Menz a généré 102 articles de blog, soit plus de 17 000 mots, sur les vaccins et le vapotage, qui regorgeaient de fausses informations. Il a également créé, en moins de deux minutes, 20 images réalistes pour accompagner les posts. Les effets de ces documents générés par l’IA « peuvent être dévastateurs, car de nombreuses personnes choisissent d’obtenir des informations sur la santé en ligne », m’a expliqué Menz.

Il a raison : la désinformation sur la santé peut avoir des conséquences désastreuses. De nombreux auditeurs de mon podcast m’ont parlé d’êtres chers qu’ils ont perdus après que la personne ait cherché des voies « alternatives » pour traiter le cancer ou d’autres problèmes de santé. Chaque histoire suit un arc similaire : le membre de la famille est attiré dans des communautés en ligne qui promettent une guérison miraculeuse, alors il abandonne les médicaments ou refuse les interventions chirurgicales. Lorsque les suppléments et les ateliers de guérison énergétique ne parviennent pas à guérir leur maladie, les praticiens alternatifs nient toute responsabilité.

Ou pensez à la prolifération de la désinformation anti-vaccin, largement motivée par des militants qui utilisent les médias sociaux et les groupes en ligne comme des armes. Le résultat : depuis 2019, les taux de vaccination parmi les enfants de maternelle ont chuté de 2 pour cent, avec des taux d’exemption augmentant dans 41 États. Plus de 8 000 écoles sont désormais exposées à un risque d’épidémie de rougeole.

Les créateurs d’IA ne peuvent pas vaincre par magie la désinformation médicale : après tout, ils ont nourri leurs chatbots sur un Internet rempli de pseudoscience. Alors, comment pouvons-nous former les robots pour qu’ils fassent mieux ? Menz estime que nous aurons besoin de quelque chose qui s’apparente aux protocoles utilisés par le gouvernement pour garantir la fabrication et la distribution sûres des produits pharmaceutiques. Cela nécessiterait l’action d’un Congrès en perpétuelle agitation. Entre-temps, en octobre dernier, le président Biden a annoncé un décret qui comprend certaines mesures visant à endiguer la propagation de la désinformation, telles que le filigrane des documents générés par l’IA afin que les utilisateurs sachent comment ils ont été créés. En Californie, le sénateur Scott Wiener a récemment présenté un projet de loi visant à renforcer les mesures de sécurité pour les systèmes d’IA à grande échelle.

Mais lutter contre la propagation de la désinformation sur la santé par l’IA nécessitera plus que des solutions politiques, selon Wenbo Li, professeur adjoint de communication scientifique à l’Université de Stony Brook, car les chatbots « n’ont pas la capacité de pensée critique, de scepticisme ou de compréhension des faits dans le monde ». comme le font les humains. Ses recherches portent sur l’élaboration de leçons sur la façon de juger de la qualité des informations générées par les chatbots. Son travail actuel se concentre sur la formation des populations noires et hispaniques, des groupes mal desservis dans le système de santé, pour « évaluer de manière critique les technologies d’IA générative, communiquer et travailler efficacement avec l’IA générative, et utiliser l’IA générative de manière éthique comme outil ». DiResta de Stanford convient que nous devons travailler sur « l’état d’esprit qu’ont les gens lorsqu’ils reçoivent des informations d’un moteur de recherche », par exemple en apprenant aux utilisateurs à demander aux chatbots d’utiliser uniquement des sources évaluées par des pairs. Modifier les robots pourrait aider à endiguer le flux de désinformation, mais pour développer une immunité collective suffisante, nous devrons former quelque chose de beaucoup plus compliqué : nous-mêmes.

Rédigé par

Archie Mitchell

Archie Mitchell, with a prestigious master's degree from France and two decades of experience, is an authority in his field, renowned for making complex subjects engaging through his blog. At 49, he seamlessly merges academic knowledge with practical insights, aimed at educating and empowering his audience. Beyond his professional life, Archie's hobbies and personal interests add depth to his writing, making it a valuable resource for both professionals and enthusiasts looking to expand their understanding.