Revisor chinês diz que teses escritas por IA nunca deveriam chegar à avaliação externa
Um acadêmico chinês fez uma proposta direta que circula entre pesquisadores: dissertações escritas por inteligência artificial não deveriam ser enviadas de forma alguma para avaliação externa. O argumento, publicado como ensaio pessoal em um blog científico chinês por um professor chamado Peng Bo, baseia-se menos em princípios do que em horas perdidas. Depois de várias rodadas de revisão de teses que lhe pareceram fluentes mas estranhamente sem peso, ele concluiu que provavelmente foram escritas por máquina e que só essa explicação dava conta do que estava lendo.
O ensaio descreve dois padrões. Em alguns casos, uma tese inteira parece ter saído de um grande modelo de linguagem, do começo ao fim. Em outros, o estudante parece ter redigido partes por conta própria e usado a IA para expandir, suavizar ou preencher o restante. De um jeito ou de outro, o revisor acaba fazendo um trabalho para o qual o sistema não foi desenhado: adivinhar a autoria pelo estilo da prosa e então decidir se um diploma deve seguir adiante com base nesse palpite.
É uma posição desconfortável para a pós-graduação chinesa, que depende fortemente de examinadores externos. Teses de doutorado e mestrado são rotineiramente enviadas a especialistas anônimos de outras instituições, que devem julgar originalidade, método e domínio da área. Esses revisores costumam trabalhar sem remuneração ou com compensação modesta, e em grande escala. Se uma parcela significativa dos trabalhos enviados tem assistência de máquina, o custo recai justamente sobre quem tem menos tempo para absorvê-lo.
A dificuldade mais profunda é a detecção. Ferramentas que afirmam identificar texto de IA têm um histórico ruim: produzem acusações falsas contra escritores cuidadosos não nativos e deixam passar textos de máquina levemente editados. A marca d’água, que alguns desenvolvedores de modelos começaram a embutir no texto gerado, depende do modelo e de ninguém removê-la. Um revisor com uma tese impressa ou em PDF não tem meio prático de verificar.
A sugestão do professor, de simplesmente não enviar esses trabalhos, levanta questões próprias. Alguém precisa tomar a decisão antes que o envelope saia do departamento, e esse alguém costuma ser o próprio orientador do estudante, que tem interesse na aprovação da tese. As instituições precisariam de uma etapa de triagem com autoridade real, além de uma via de recurso para quando um estudante é sinalizado por engano.
As universidades chinesas se moveram rápido para regular a IA no trabalho acadêmico, e muitas editaram normas que permitem edição assistida mas proíbem a geração integral. A aplicação, porém, continua local e desigual. O alvo real do ensaio talvez seja menos a tecnologia do que a estrutura de incentivos em torno dela: estudantes sob pressão para produzir extensão, orientadores sobrecarregados por candidatos demais e revisores convocados a atestar uma qualidade que não conseguem verificar.
Para leitores do mundo todo, a história é uma prévia. Universidades em toda parte enfrentam a mesma questão, e a maioria a respondeu com códigos de honra e exigências de declaração, não com verificações técnicas. O que o caso chinês acrescenta é uma proposta concreta de dentro do próprio sistema de revisão: parar de enviar os trabalhos e forçar o julgamento para a etapa anterior, onde o orientador e o departamento possam responder por ele.