Китайский рецензент: диссертации, написанные ИИ, нельзя выносить на внешнюю защиту
Китайский учёный выступил с резким предложением, которое обсуждают в исследовательских кругах: диссертации, написанные искусственным интеллектом, вообще не следует отправлять на внешнее рецензирование. Аргумент, опубликованный в виде личного эссе в китайском научном блоге профессором по имени Пэн Бо, опирается не столько на принцип, сколько на потраченные впустую часы. После нескольких раундов рецензирования дипломных работ, которые показались ему гладкими, но странно невесомыми, он пришёл к выводу, что они, вероятно, написаны машиной, и только этим объясняется прочитанное.
В эссе описаны две модели. В одних случаях вся диссертация, по-видимому, создана большой языковой моделью от начала до конца. В других студент, похоже, самостоятельно написал отдельные части, а ИИ использовал, чтобы расширить, сгладить или дополнить остальное. Так или иначе, рецензенту приходится делать работу, для которой система не предназначена: угадывать авторство по стилю текста, а затем на основании этой догадки решать, присуждать ли степень.
Это неудобное положение для китайского высшего образования, которое во многом опирается на внешних экзаменаторов. Докторские и магистерские диссертации регулярно направляются анонимным специалистам из других учреждений, которые должны оценить оригинальность, метод и владение предметом. Такие рецензенты обычно работают бесплатно или за скромное вознаграждение и трудятся в больших объёмах. Если значительная доля работ написана с помощью машины, издержки ложатся именно на тех, у кого меньше всего времени это выдержать.
Более глубокая трудность — обнаружение. Инструменты, которые берутся распознавать текст ИИ, показывают плохие результаты: они ложно обвиняют аккуратных авторов, для которых язык не родной, и пропускают слегка отредактированный машинный текст. Водяные знаки, которые некоторые разработчики моделей начали встраивать в генерируемый текст, зависят от модели и от того, что никто их не удалит. У рецензента с печатной или PDF-версией диссертации нет практического способа это проверить.
Предложение профессора — просто не отправлять такие работы — порождает собственные вопросы. Кто-то должен принять решение до того, как конверт покинет кафедру, и этот кто-то обычно научный руководитель студента, заинтересованный в том, чтобы диссертация прошла. Учреждениям понадобился бы этап проверки с реальными полномочиями, а также механизм апелляции на случай, если студента ошибочно заподозрили.
Китайские университеты быстро взялись регулировать ИИ в академической работе: многие выпустили правила, разрешающие вспомогательное редактирование и запрещающие полную генерацию. Однако правоприменение остаётся локальным и неравномерным. Настоящая мишень эссе, возможно, не столько технология, сколько окружающая её система стимулов: студенты под давлением объёма, руководители, разрывающиеся между слишком многими аспирантами, и рецензенты, которых просят удостоверить качество, которое они не могут проверить.
Для читателей за пределами Китая эта история — предвестие. Университеты по всему миру бьются над тем же вопросом, и большинство ответили на него кодексами чести и требованиями раскрытия информации, а не техническими проверками. Китайский случай добавляет конкретное предложение изнутри самой системы рецензирования: перестать отправлять работы наружу и перенести решение на более ранний этап, где за него можно спросить с руководителя и кафедры.