Praat met medische professionals, niet alleen met ChatGPT, dringen artsen in Ontario erop aan

ChatGPT en vergelijkbare hulpmiddelen voor kunstmatige intelligentie kunnen soms nauwkeurige antwoorden geven op de vragen van patiënten, maar Canadese medische onderzoekers waarschuwen dat de informatie zorgvuldig moet worden gecontroleerd voordat er actie wordt ondernomen op basis van wat u ziet.

Het advies van de onderzoekers komt nadat de Ontario Medical Association (OMA) deze week een persconferentie heeft gehouden. Tijdens deze bijeenkomst werden doe-het-zelf-informatiebronnen besproken, zoals zoekmachines , sociale media en chatbots, en de impact daarvan. Ook werd er gekeken naar wat patiënten in plaats daarvan kunnen doen.

Het is belangrijk om mensen nu te waarschuwen, zegt dr. Valerie Primeau, een psychiater uit North Bay die klinische en gemeenschapsprogramma's voor geestelijke gezondheid en verslavingen leidt, omdat patiënten steeds vaker gebruikmaken van AI-hulpmiddelen.

De chatbots geven overtuigende en empathische resultaten, maar de informatie kan nep zijn .

"Ik heb nu patiënten die met ChatGPT praten voor advies en een gesprek", zei Primeau. "Dus ik voorzie dat dit probleem zich zal blijven voordoen, en als we het nu niet aanpakken en mensen hiermee helpen, zullen ze het moeilijk krijgen."

Volgens dr. David D'Souza, radiotherapeut in London (Ontario), die leiding geeft aan klinisch onderzoek naar op beelden gebaseerde kankerbehandelingen, kunnen patiënten conventionele behandelingen uitstellen, afhankelijk van de manier waarop AI hen onderbreekt.

"Een patiënt kwam naar me toe met de vraag of hij moest wachten met de behandeling van zijn gediagnosticeerde kanker over een paar jaar, omdat hij gelooft dat AI kankerbehandelingen op maat voor patiënten kan maken", vertelde D'Souza aan verslaggevers. "Ik moest hem ervan overtuigen waarom hij zich nu moest laten behandelen."

Aangezien consumenten de tools zullen gebruiken, adviseert Dr. Zainab Abdurrahman, voorzitter van OMA, om bij berichten met de tekst "artsen hebben dit voor u verborgen gehouden" de websites van relevante specialistische groepen, zoals provinciale kankerzorgverenigingen, te raadplegen om te zien of zij de informatie bevestigen.

Nepadvertenties , waaronder door AI gegenereerde afbeeldingen, kunnen patiënten ook op het verkeerde been zetten, waarschuwde Abdurrahman, die tevens klinisch immunoloog en allergoloog is.

Verlies van nuance maakt het moeilijker om op AI-resultaten te vertrouwen

Hoewel de technologie zich ontwikkelt, beantwoorden chatbots tegenwoordig routinematig vragen over gezondheid met valse informatie diegezaghebbend lijkt .

Ineen onderzoek voerden Dr. Benjamin Chin-Yee, universitair docent bij de afdeling pathologie en laboratoriumgeneeskunde aan de Western University, en zijn co-auteurs bijna 5.000 samenvattingen van medische en wetenschappelijke literatuur in in grote AI-taalmodellen, waaronder ChatGPT, en vroegen hen om samenvattingen.

Ze ontdekten dat driekwart van de AI-versies belangrijke delen van zorgvuldig bewaakte verklaringen miste.

Het kan bijvoorbeeld zo zijn dat in het wetenschappelijke artikel staat dat een medicijn alleen effectief is bij een bepaalde groep patiënten, terwijl de samenvatting dat belangrijke detail weglaat, aldus Chin-Yee, die ook hematoloog is.

"De zorg is dat wanneer die nuance in details verloren gaat, dit misleidend kan zijn voor artsen die deze kennis willen gebruiken om hun klinische praktijk te verbeteren."

Chin-Yee zei dat AI een actief onderzoeksgebied is dat snel verandert, met nieuwe modellen die meer op mensen lijken en gebruiksvriendelijker zijn. Toch kunnen er nadelen kleven aan het alleen vertrouwen op de tools.

David Chen, een geneeskundestudent aan de Universiteit van Toronto, vergeleek op vergelijkbare wijze de resultaten van chatbots op 200 vragen over kanker op een Reddit-forum met de antwoorden van oncologen.

"We waren verrast toen we ontdekten dat deze chatbots qua competentie bijna op het niveau van menselijke experts presteerden, op basis van de beoordeling van ons team van artsen op het gebied van kwaliteit, empathie en leesbaarheid", aldus Chen.

Maar de experimentele resultaten weerspiegelen mogelijk niet wat er in de echte wereld gebeurt.

"Zonder medisch toezicht is het lastig om de uitkomsten van generatieve technologieën voor de volle 100 procent te vertrouwen", aldus Chen. Hij voegde eraan toe dat de zorgen over privacy, beveiliging en het vertrouwen van de patiënt nog niet volledig zijn onderzocht.

Vertrouw niet op één chatbot

Generatieve AI-technologieën zoals chatbots zijn gebaseerd op patroonherkenningstechnologieën die de meest waarschijnlijke uitkomst geven voor een bepaalde vraag, gebaseerd op de informatie waarmee ze zijn getraind. In de geneeskunde kunnen echter ook onwaarschijnlijke mogelijke diagnoses belangrijk zijn en moeten niet worden uitgesloten.

Bovendien kunnen chatbots hallucineren : ze produceren output die overtuigend klinkt, maar onjuist, verzonnen, onzinnig of irrelevant is.

"Er zijn ook onderzoeken gepubliceerd waaruit blijkt dat de hallucinatiepercentages van deze chatbots op kunnen lopen tot wel 20 procent", aldus Chen, wat de uitkomst "klinisch onjuist" zou kunnen maken.

In het voorjaar publiceerde cardioloog Eric Topol, hoogleraar en uitvoerend vice-president van Scripps Research in San Diego, Californië, een boek met de titel Superagers: An Evidence-Based Approach to Longevity , waarin hij de impact van AI op de levensduur en kwaliteit van leven onderzocht.

"Er zijn veel goede en slechte anekdotes", zei Topol over patiënten die chatbots gebruiken. "Het is nog niet systematisch en op een zinvolle manier beoordeeld voor openbaar gebruik."

Topol raadt mensen aan om meerdere chatbots te raadplegen en te controleren of je betrouwbare informatie krijgt. Hij stelde ook voor om te vragen naar citaten uit de medische literatuur, waarbij hij opmerkte dat deze soms niet echt zijn en geverifieerd moeten worden.

Idealiter, zei Topol, zou er een praktijktest plaatsvinden met chatbotreacties van tienduizenden mensen, waarbij wordt bijgehouden welke tests er zijn uitgevoerd, welke diagnoses er zijn gesteld en wat de resultaten zijn voor degenen die AI-bronnen hebben gebruikt en degenen die dat niet hebben gedaan. Maar techbedrijven zullen waarschijnlijk niet deelnemen, omdat ze er niet allemaal baat bij zouden hebben, zei hij.

"Het is nu een andere wereld en je kunt niet terug in de tijd", zei Topol over het verstandig gebruiken van de hulpmiddelen.