AI-chatbots verspreiden valse informatie over verzonnen ziekte 'bixonimania'

AI-chatbots verspreiden valse informatie over verzonnen ziekte 'bixonimania'

In een opvallend experiment hebben onderzoekers aangetoond hoe kunstmatige intelligentie (AI) valse medische informatie kan verspreiden. Een team onder leiding van Almira Osmanovic Thunström, een medisch onderzoeker aan de Universiteit van Göteborg in Zweden, creëerde een fictieve huidziekte genaamd 'bixonimania' en uploadde twee nepstudies hierover naar een preprintserver in het voorjaar van 2024. Het doel was om te testen of grote taalmodellen (LLMs), die worden gebruikt in populaire chatbots, deze desinformatie zouden oppikken en als betrouwbare gezondheidsadviezen zouden presenteren Nature News.

Osmanovic Thunström bedacht de naam 'bixonimania' bewust als een belachelijke term, aangezien 'mania' een psychiatrisch begrip is dat niet past bij een oog- of huidziekte. Ze plaatste meerdere aanwijzingen in de nepstudies om duidelijk te maken dat het om een verzinsel ging, zoals een fictieve auteur genaamd Lazljiv Izgubljenovic, wiens foto met AI was gegenereerd, en een niet-bestaande universiteit als affiliatie. Desondanks bleek het experiment alarmerend succesvol: binnen enkele weken na de publicatie van de preprints op 26 april en 6 mei 2024 begonnen grote AI-systemen de aandoening als echt te presenteren. Mensen die symptomen zoals jeukende, pijnlijke ogen en een roze gloed op de oogleden invoerden, kregen 'bixonimania' als mogelijke diagnose Nature News.

Nog zorgwekkender is dat de nepstudies werden geciteerd in peer-reviewed literatuur, wat suggereert dat sommige onderzoekers AI-gegenereerde referenties gebruiken zonder de onderliggende papers te controleren. Osmanovic Thunström wijst erop dat dit een bredere trend blootlegt: de afhankelijkheid van AI-systemen kan leiden tot de verspreiding van onjuiste informatie, vooral in gevoelige domeinen zoals gezondheidszorg. Ze benadrukt dat haar experiment voortkwam uit lessen over hoe AI-systemen hun 'kennis' opbouwen uit databases zoals Common Crawl, een enorme verzameling internetinhoud, en hoe deze systemen kunnen worden gemanipuleerd via technieken zoals prompt injection Nature News.

Dit incident roept serieuze vragen op over de betrouwbaarheid van AI in medische contexten. Chatbots worden steeds vaker gebruikt voor snelle diagnoses of gezondheidsadviezen, maar dit experiment laat zien hoe gemakkelijk ze valse informatie kunnen overnemen en verspreiden. Osmanovic Thunström's werk onderstreept de noodzaak van strengere controles op de bronnen die AI-systemen gebruiken en een betere educatie over hun beperkingen. Het feit dat een duidelijk verzonnen aandoening zo snel als echt werd gepresenteerd, toont aan dat er nog veel werk nodig is om te voorkomen dat desinformatie via AI een bedreiging vormt voor de volksgezondheid Nature News.

Hoewel dit experiment een belangrijke waarschuwing biedt, is het ook een oproep tot actie voor ontwikkelaars van AI-technologieën en beleidsmakers. Het waarborgen van de juistheid van informatie die door AI wordt verspreid, vooral in kritieke sectoren zoals gezondheidszorg, vereist robuuste mechanismen om desinformatie te filteren en transparantie over de herkomst van gegevens. Zonder dergelijke maatregelen riskeren we een toekomst waarin fictieve ziekten en andere onjuistheden de publieke perceptie en besluitvorming beïnvloeden. Dit experiment is een duidelijke herinnering dat technologie, hoe geavanceerd ook, altijd kritisch moet worden benaderd Nature News.