Как вычислить ИИ в работах студентов
Автор: Елизавета Лугинец, исследователь Проектно-учебной лаборатории экономической журналистики НИУ ВШЭ специально для IQ Media
Мадина Давлатова
Доцент Высшей школы экономики, заместитель директора Департамента образовательных программ, эксперт Центра поддержки цифрового обучения Института образования НИУ ВШЭ и консультант по преподаванию в цифровой среде.
Волшебная таблетка от лени
Далеко не все преподаватели имеют представление о том, как правильно реагировать на использование студентами искусственного интеллекта: не все и не всегда верно определяют степень участия нейросетей.
Кроме того, у преподавателей и студентов разное отношение к генеративным моделям: для учащихся нейросети в основном являются полезным инструментом оптимизации образовательного процесса, учителя же расценивают использование ИИ студентами как нежелание вникать в тему самостоятельно, полагаясь на «волшебную таблетку» технологий.
Однако некоторые все же признают, что ИИ помогает преодолевать страх чистого листа и искать новые способы решения задач. Правда, не всегда понятно, где проходит грань между использованием ИИ как вспомогательного инструмента и полным перекладыванием на него своих задач.
В 2023 году в Медицинской школе Файнберга Северо-Западного университета Чикаго специалисты провели исследование по определению факта генерации материалов. В рамках эксперимента организаторы выбрали 5 реальных научных работ и к каждой из них сгенерировали аннотацию. Затем результаты перемешали с оригинальными текстами и загрузили в ИИ-детектор, а также передали их на слепое рецензирование экспертам. По итогам исследования удалось выяснить, что алгоритм выявляет искусственный интеллект в среднем на 14% лучше человека.
Как отмечает спикер, из этого эксперимента можно сделать два главных вывода: первый — на первый взгляд, мы можем доверять ИИ-детектору при анализе текстов; второй — способность человека «чувствовать» искусственный текст сильно преувеличена, поэтому для точности все-таки стоит учитывать разные данные, в том числе предложения алгоритмов.
Доверяй, но проверяй
Однако и превосходство технологии над человеком совершенно не означает ее безапелляционность. ИИ-детекторы порой совершают ошибки, определяя авторский текст как сгенерированный. При работе с ИИ важно помнить, что алгоритмы распознавания нейросетей хрупки и зависят от многих факторов.
«Модель пытается предугадать следующее слово на основе частотных и однотипных структур. Когда происходят небольшие изменения в тексте, то алгоритм решает: «Ой, а здесь чуть по-другому, значит, это уже человек, а не генерация.» И поэтому, например, перефраз может очень сильно влиять на результат», – поясняет Мадина Давлатова.
Под «перефразом» подразумевается замена частей текста и некоторых слов синонимами — такая практика может путать ИИ-детектор, и очевидно сгенерированный текст будет восприниматься алгоритмом как человеческий.
Особое внимание также уделяется проблеме ИИ-детекторов при работе с инофонами — пользователями, говорящими и пишущими на неродном языке. В данном случае алгоритм порой проявляет предвзятость к пользователю, так как его логика повествования может отличаться от логики типичного носителя языка, и «живой» текст помечается как сгенерированный.
Выявление ИИ: практические советы
Несмотря на вышеназванные трудности с определением ИИ в тексте, уже существуют подходы к выявлению факта генерации.
Мадина Давлатова выделяет следующие:
- Статистические визуализаторы (Giant Language Model Test Room). Они анализируют структуру текста и выявляют подозрительную регулярность и предсказуемость, характерную для ИИ.
- Zero-shot (DetectGPT). Этот инструмент незначительно редактирует текст, что помогает оценить структурную устойчивость оригинала. После такого вмешательства логика ИИ-текстов, как правило, сразу теряется, благодаря чему их удается вычислить.
- ИИ-детекторы (Антиплагиат.ру, GigaCheck, ChatGPT Zero). Классические модели, которые проверяют устойчивость оригинального текста путем его сравнения с похожими вариантами.
- Использование водяных знаков еще на стадии генерации. Подразумевает внедрение в текст символов, невидимых для человека, но распознаваемых ИИ-детектором. Хотя эта идея пока массово не реализована, исследователи считают ее одним из перспективных способов решения этой проблемы.
- Верификация авторства посредством сравнения с предыдущими работами учащегося. Как поясняет Мадина Давлатова, этот способ подходит при условии регулярного контакта преподавателя с учеником. Если у педагога есть примеры самостоятельных работ студента, то при возникновении сомнений можно сравнить спорный текст с предыдущими, тренируя таким образом свою насмотренность в распознавании ИИ.
Чтобы упростить выявление генерации, существует целый ряд конкретных признаков использования ИИ при написании текста. Их можно условно разделить на три категории: содержательные, лексические и структурные.
- К группе содержательных признаков относятся:
- обилие поверхностных тезисов,
- отсутствие глубины,
- незавершенность суждений,
- обобщенный характер примеров без соответствующих деталей или фактов, совершенно не раскрывающих мысль автора,
- отсутствие субъективности: в тексте приводятся шаблонные мнения без сформулированной позиции – в большинстве случаев это также признак работы ИИ.
- Лексические паттерны, которые могут сигнализировать о причастности искусственного интеллекта, затрагивают языковую составляющую текста. К ним относятся:
- избыточность вводных фраз и логических связок,
- речевые шаблоны и клише,
- отсутствие метафор и других авторских оборотов и так далее.
Особое внимание стоит уделить общему стилю повествования: его подозрительная однородность и неестественно богатый для студента словарный запас, скорее всего, подтвердят факт генерации.
- Третья категория – структурные. К ним относятся такие признаки, как
- идеально сбалансированные по длине параграфы,
- избыточное перечисление вместо связанного и целостного текста,
- чрезмерная структурированность текста,
- обобщения – при использовании ИИ они, как правило, есть к каждому параграфу и в финале материала.
Как приручить ИИ: инструкция для преподавателей
Для преподавателя важно не только выявить факт использования ИИ со стороны студента, но и продемонстрировать адекватную реакцию на это.
«Просто поставить «ноль» и сказать, что я такую работу не буду принимать, – не сработает. Поэтому я обычно делаю так: я пишу, как правило, что я не против, пожалуйста, пользуйтесь. Но давайте будем честными. И я пишу, почему я считаю, что это генерация, подтверждаю все фактами и прикрепляю скриншоты», – говорит Мадина Давлатова.
Академическая честность между преподавателем и студентами изначально закладывается самим преподавателем, подчеркивает она. Для того, чтобы не возникало ситуаций, когда студент скрывает факт использования ИИ в своей работе, важно обговаривать на берегу допустимую степень вовлеченности нейросетей в учебный процесс: например, в формулу оценивания можно закладывать такой критерий, как авторская оригинальность. Что касается самих работ, решением может стать обязательное приложение черновиков и источников информации, которыми студент пользовался при подготовке.
Одной из эффективных схем внедрения ИИ в образование является шкала AIAS (The AI Assessment Scale). Она представляет собой пятиступенчатую пирамиду с различными уровнями взаимодействия с генеративными моделями при обучении, которая помогает преподавателям правильно учесть роль искусственного интеллекта в заданиях. Каждый уровень показывает равные условия использования ИИ как для учеников, так и для учителя: это способствует укреплению академической честности и формированию образовательного этикета между всеми участниками учебного процесса.
«Попытайтесь определить для себя, на каком уровне взаимодействия с ИИ вы хотите реализовывать обучение с вашими студентами и учениками. Тогда вы сможете подобрать и корректные сервисы, и настроить работу с вашими учащимися», – советует эксперт.