Een chatbot die alle mogelijke vragen kan beantwoorden: ChatGPT is een hit sinds de lancering afgelopen november. Maar het wordt ook duidelijk dat dit type AI “grote gevolgen heeft voor de manier waarop onderzoekers werken”, stelt Claudi Bockting, hoogleraar Klinische psychologie in Psychiatrie, vandaag in het tijdschrift Nature. Zij en haar co-auteurs beschrijven in dit artikel vijf aandachtspunten voor gebruik van ChatGPT bij onderzoek.

De gevolgen voor onderzoek zijn veelomvattend. Deze technologie kan niet alleen worden gebruikt om papers te schrijven, maar ook om onderzoekshiaten aan te wijzen, programma's te schrijven, bestaande teksten te herzien en te verbeteren, en zelfs als zoekfunctie. Hoe moeten onderzoekers omgaan met deze, mogelijk ontwrichtende, technologie? Claudi Bockting en Evi-Anne van Dis proberen hier, samen met collega’s uit computerwetenschappen van de Universiteit van Amsterdam en Indiana University, een antwoord op te vinden. “Wij denken dat het geen optie is om deze technologie te verbieden, omdat deze waarschijnlijk op korte termijn overal gebruikt wordt, en waarschijnlijk zelfs geïntegreerd zal zijn in tekstverwerkingsprogramma’s,” aldus Bockting.

Misleidende teksten

De auteurs van het Nature-artikel verwachten dat het gebruik van ChatGTP op verschillende manieren een bedreiging kan zijn voor de wetenschappelijke praktijk. Met name de nauwkeurigheid van de chatbot is een punt van zorg. Bockting en haar mede-auteurs legden ChatGPT tal van vragen en taken voor, niet altijd met het gewenste resultaat. “ChatGPT antwoordde soms met onjuiste, of misleidende teksten. We vroegen bijvoorbeeld: ‘hoeveel patiënten met een depressie vallen terug na behandeling?’ ChatGPT antwoordde: ‘behandeling is over het algemeen langdurig’ – wat min of meer betekent dat terugval weinig voorkomt. Uit onderzoek blijkt echter dat terugval kan oplopen tot 51% in het eerste jaar na de behandeling", zegt Evi-Anne van Dis, postdoctoraal onderzoeker bij Amsterdam UMC, afdeling psychiatrie.

Vijf aandachtspunten

Bovenstaand voorbeeld is één van de redenen waarom Van Dis, Bockting en hun co-auteurs wetenschappers aanbevelen om “vast te houden aan menselijke checks” bij het gebruik van ChatGPT. Dit is een van de vijf aandachtspunten voor wetenschappers in het gebruik van ChatGPT. "Ook al kan ChatGPT tekst van hoge kwaliteit maken, we zien ook hoe het kan zorgen voor bias en onnauwkeurigheden. Het kan zelfs leiden tot plagiaat, een grondige check is dus essentieel.” zegt van Dis. Ook moeten onderzoekers verantwoordelijk blijven voor hun werk en transparant zijn over het gebruik van ChatGPT. “Als onderzoekers grote delen van hun manuscripten schrijven met behulp van ChatGPT, zonder te vermelden, voelt dat toch als valsspelen”, voegt Bockting toe.

Regels

“Er zijn genoeg hulpmiddelen die een ‘machinetekst’ kunnen onderscheiden van een tekst geschreven door een mens, maar AI-chatbots zullen waarschijnlijk slimmer worden dan deze AI-tools. We moeten deze zinloze wapenwedloop dus niet voeren, maar wel samen regels opstellen", aldus Bockting. Deze regels moeten gericht zijn op "transparantie, integriteit en eerlijkheid" en ook gaan over het gebruik van auteursbijdragen en de omvang en aard van het gebruik van AI-technologie. "We moeten ook bedenken wie eigenaar is van de rechten", voegt van Dis toe, "is dat degene die de AI heeft getraind, zijn dat degenen die de AI hebben geproduceerd of de wetenschappers die de AI hebben gebruikt als hulpmiddel bij het schrijven?".

Betrouwbaarder en transparanter

Momenteel is AI-technologie zoals ChatGPT voornamelijk in handen van grote techbedrijven, die niet open zijn over bijvoorbeeld de voor ChatGPT gebruikte trainingsmethode. Dit leidt tot een gebrek aan transparantie, iets waar Van Dis, Bockting en hun mede-auteurs zich grote zorgen over maken. Zij vinden het belangrijk om betrouwbare en transparantere AI-technologie te ontwikkelen, in handen van onafhankelijke non-profitorganisaties, zonder belangenverstrengeling. Wanneer technologie als ChatGPT betrouwbaarder en transparanter wordt, kan dat ook ruimschoots mogelijkheden bieden voor de wetenschap. "AI geeft ons de kans om bijvoorbeeld de almaar toenemende werkdruk voor wetenschappers verminderen. We moeten echter wel een afweging maken tussen de voordelen van AI en het verlies van autonomie. Hoeveel ruimte geven we aan AI zonder onszelf te ondermijnen?", aldus Bockting. De auteurs zijn er duidelijk over dat het weliswaar belangrijk is om de technologie te omarmen, maar dat je dat niet kunt doen zonder kritisch na te denken over waar de grenzen liggen.

Internationale top

Van Dis, Bockting en hun co-auteurs raden onderzoeksgroepen aan om ChatGPT intern te bespreken. Dit helpt om vast te stellen op welke manier ChatGPT “eerlijk, transparant en integer” kan worden gebruikt, aldus Van Dis. Verder moet de wetenschappelijke gemeenschap ChatGPT bespreken met alle relevante partijen, van uitgevers tot ethici, het liefst in de vorm van een internationale top. In het Nature-artikel noemen de auteurs tien vragen als leidraad voor zo'n top. "We hopen dat dit artikel een startpunt is voor een onmiddellijk te beginnen en voortdurend wereldwijd debat over de vraag hoe AI-technologie voor onderzoeksdoeleinden kan worden gebruikt. Uiteindelijk moet dit leiden tot de ontwikkeling van concrete en praktische richtlijnen voor onderzoekers", aldus Bockting.

ChatGPT is een Large Language Model (LLM) dat zelf leert van gegevens en dat geavanceerde en intelligente teksten kan produceren, met behulp van training met een enorme dataset met tekst.

Lees hier het artikel over ChatGPT en de vijf aandachtspunten voor onderzoek, vandaag gepubliceerd in Nature.

Fotografie: Shutterstock