Дафна Ипполито, старший научный сотрудник Google, специализирующаяся на генерации естественного языка, которая также не работала над проектом, поднимает еще одну проблему.

«Если автоматические системы обнаружения будут использоваться в образовательных учреждениях, крайне важно понимать уровень ложных срабатываний, поскольку неправильное обвинение учащегося в списывании может иметь тяжелые последствия для его академической карьеры», — говорит она. «Коэффициент ложноотрицательных результатов также важен, потому что, если слишком много текстов, сгенерированных ИИ, будут считаться написанными человеком, система обнаружения бесполезна».

Compilatio, который является одним из инструментов, проверенных исследователями, говорит, что важно помнить, что его система просто указывает на подозрительные отрывки, которые она классифицирует как потенциальный плагиат или контент, потенциально сгенерированный ИИ.

«Школы и учителя, которые оценивают проанализированные документы, должны подтвердить или подтвердить знания, фактически полученные автором документа, например, путем использования дополнительных средств исследования — устного опроса, дополнительных вопросов в контролируемой среде класса. и т. д.», — сказал представитель Compilatio.

«Таким образом, инструменты Compilatio являются частью подлинного подхода к обучению, который поощряет изучение хороших методов исследований, написания и цитирования. Программное обеспечение Compilatio — это средство коррекции, а не корректор», — добавил представитель. Turnitin и GPT Zero не сразу ответили на запрос о комментариях.

«Наша модель обнаружения основана на заметных различиях между более своеобразным, непредсказуемым характером человеческого письма и очень предсказуемыми статистическими сигнатурами текста, сгенерированного ИИ», — говорит Энни Чечителли, директор по продукту TurnItIn.

«Однако наша функция обнаружения письма ИИ просто предупреждает пользователя о наличии письма ИИ, выделяя области, где может потребоваться дальнейшее обсуждение. на основе оценки и инструкций, предоставленных учителем».

Мы уже давно знаем, что инструменты, предназначенные для обнаружения текста, написанного ИИ, не всегда работают так, как должны. Ранее в этом году OpenAI представила инструмент, предназначенный для обнаружения текста, созданного ChatGPT, признав, что он пометил только 26% текста, написанного ИИ, как «вероятно написанный ИИ». OpenAI указал MIT Technology Review на раздел, посвященный его Веб-сайт для соображений преподавателей, который предупреждает, что инструменты, предназначенные для обнаружения контента, созданного ИИ, «далеко ненадежны».