Chinese beoordelaar: door AI geschreven scripties mogen nooit naar externe beoordeling
Een Chinese academicus heeft een bot voorstel gedaan dat onder onderzoekers de ronde doet: scripties die door kunstmatige intelligentie zijn geschreven, moeten helemaal niet naar externe beoordeling worden gestuurd. Het betoog, gepubliceerd als persoonlijk essay op een Chinese wetenschapsblog door een hoogleraar genaamd Peng Bo, berust minder op principe dan op verspilde uren. Na verschillende rondes van beoordeling van afstudeerscripties die hem vlot maar vreemd gewichtloos voorkwamen, concludeerde hij dat ze waarschijnlijk machinaal waren geschreven, en dat alleen die verklaring recht deed aan wat hij las.
Het essay beschrijft twee patronen. In sommige gevallen lijkt een hele scriptie van begin tot eind uit een groot taalmodel te komen. In andere gevallen lijkt de student delen zelf te hebben geschreven en AI te hebben gebruikt om de rest uit te breiden, glad te strijken of op te vullen. Hoe dan ook blijft de beoordelaar achter met een taak waarvoor het systeem niet is ontworpen: uit de stijl van het proza het auteurschap raden en vervolgens op basis van die gok beslissen of een graad mag doorgaan.
Dat is een ongemakkelijke positie voor het Chinese postdoctorale onderwijs, dat sterk leunt op externe examinatoren. Proefschriften en masterscripties worden steevast naar anonieme specialisten aan andere instellingen gestuurd, die originaliteit, methode en beheersing van het vakgebied moeten beoordelen. Die beoordelaars worden meestal onbetaald of bescheiden betaald en werken op grote schaal. Als een betekenisvol deel van de inzendingen machinaal wordt ondersteund, komt de rekening precies bij de mensen terecht die het minste tijd hebben om die te dragen.
De diepere moeilijkheid is detectie. Tools die beweren AI-tekst te herkennen, hebben een slechte staat van dienst: ze leveren valse beschuldigingen op tegen zorgvuldige niet-moedertaalschrijvers en missen licht bewerkte machinaal gegenereerde tekst. Watermerken, die sommige modelontwikkelaars in gegenereerde tekst beginnen in te bouwen, hangen af van het model en van het feit dat niemand ze verwijdert. Een beoordelaar met een gedrukte of PDF-scriptie heeft geen praktische manier om dat te controleren.
De suggestie van de hoogleraar, dat zulk werk simpelweg niet wordt verstuurd, roept op zijn beurt eigen vragen op. Iemand moet de beslissing nemen voordat de envelop de faculteit verlaat, en die iemand is meestal de eigen begeleider van de student, die er belang bij heeft dat de scriptie slaagt. Instellingen zouden een screeningsstap met echte bevoegdheid nodig hebben, plus een beroepsroute wanneer een student ten onrechte wordt gemarkeerd.
Chinese universiteiten hebben snel werk gemaakt van de regulering van AI in academisch werk, en velen hebben regels uitgevaardigd die ondersteund redigeren toestaan maar volledige generatie verbieden. De handhaving blijft echter lokaal en ongelijk. Het echte doelwit van het essay is misschien minder de technologie dan de prikkelstructuur eromheen: studenten onder druk om lengte te produceren, begeleiders uitgerekt over te veel kandidaten, en beoordelaars die kwaliteit moeten certificeren die ze niet kunnen verifiëren.
Voor lezers wereldwijd is dit verhaal een voorproefje. Universiteiten overal worstelen met dezelfde vraag, en de meeste hebben die beantwoord met erecodes en openbaarmakingsvereisten in plaats van technische controles. Wat de Chinese casus toevoegt, is een concreet voorstel van binnenuit het beoordelingssysteem zelf: stop met het versturen van het werk en dwing de beoordeling stroomopwaarts af, waar de begeleider en de faculteit erop kunnen worden afgerekend.