AI-chatbots zijn makkelijk te misleiden door valse medische informatie
Heeft u ooit gehoord van Casper-Lew-syndroom of Helkand-ziekte? Of van black blood cells of renal storm blood rebound echo?
Waarschijnlijk niet — en dat klopt. Het zijn allemaal verzonnen aandoeningen of niet-bestaande medische termen.
Toch behandelden AI-chatbots deze termen alsof ze echt waren, en bedachten ze er zelfs gedetailleerde beschrijvingen bij uit het niets, zo blijkt uit een nieuwe studie.
Veelgebruikte AI-chatbots blijken zeer kwetsbaar voor het aannemen van valse medische informatie als feit.
“We zagen consequent dat valse medische details AI-chatbots gemakkelijk op het verkeerde been zetten, of die fouten nu opzettelijk of per ongeluk zijn,” zegt hoofonderzoeker dr. Mahmud Omar, onafhankelijk consultant binnen het Mount Sinai-onderzoeksteam.
“Ze herhaalden de desinformatie niet alleen, maar voegden er vaak zelfverzekerde verklaringen aan toe voor aandoeningen die helemaal niet bestaan.”
Voor het onderzoek formuleerden onderzoekers 300 AI-vragen over medische onderwerpen, elk met één verzonnen detail, zoals een fictieve laboratoriumtest (serum neurostatin) of een niet-bestaand symptoom (cardiac spiral sign).
De hallucinatiepercentages varieerden van 50% tot 82% bij zes verschillende AI-chatbots. De systemen gaven vaak overtuigend klinkende maar volledig fictieve antwoorden.
“Zelfs één verzonnen term kon leiden tot een uitgebreide, besliste reactie die volledig op fictie was gebaseerd,” zegt senior onderzoeker dr. Eyal Klang, hoofd generatieve AI aan de Icahn School of Medicine van Mount Sinai in New York.
In een tweede ronde voegden onderzoekers echter een korte waarschuwing toe aan hun vraag, waarin ze de AI eraan herinnerden dat de verstrekte informatie mogelijk onjuist was.
“In feite instrueerde deze prompt het model om alleen klinisch gevalideerde informatie te gebruiken en onzekerheid te erkennen in plaats van verder te speculeren,” schrijven de onderzoekers. “Door deze beperkingen op te leggen, werd het model gestimuleerd om dubieuze elementen te signaleren in plaats van ongefundeerde content te genereren.”
Het gevolg: het hallucinatiepercentage daalde naar circa 45%.
De best presterende AI, ChatGPT-4o, had aanvankelijk een hallucinatiepercentage van ongeveer 50%, maar dat daalde tot onder de 25% na toevoeging van de waarschuwing.
“Een eenvoudige, goed getimede veiligheidsboodschap in de prompt maakte een belangrijk verschil en halveerde de fouten bijna,” aldus Klang. “Dit laat zien dat deze tools veiliger kunnen worden gemaakt — maar alleen als we promptontwerp en ingebouwde veiligheidsmechanismen serieus nemen.”
[…]*Dit artikel is vertaald naar het Nederlands
