Ловушка для продвинутого студента: как отучить бездумно доверять нейросетям

© Высшая школа экономики

Доцент Санкт-Петербургской школы экономики и менеджмента НИУ ВШЭ Андрей Терников разработал методику проведения онлайн-экзамена, которая значительно ограничивает возможности студентов по использованию ChatGPT и других моделей ИИ для получения верных ответов. О своей методике, с которой он победил на осеннем конкурсе образовательных инноваций НИУ ВШЭ, получил грант «Альфа-Будущее» и выступил на международной конференции в Японии, Андрей Терников рассказал «Вышке.Главное».

Не запрещать, а затруднять

За последние три года генеративный искусственный интеллект (программы ChatGPT, YandexGPT и их аналоги) стал доступен буквально каждому. Работает такая программа просто: вы вводите вопрос обычным текстом, и она за несколько секунд выдает развернутый, грамотно сформулированный ответ. В повседневной жизни это удобный помощник, но для образования — серьезный вызов, поскольку студенты стали использовать нейросети на экзаменах.

Типичная ситуация выглядит так: студент открывает тест, копирует вопрос, вставляет его в ChatGPT или его аналог, получает ответ и переносит обратно. Вся процедура занимает 10–15 секунд. Преподаватель при этом никак не может определить, разбирается студент в теме или просто ловко обращается с буфером обмена. Проблема особенно остра для дистанционных курсов, где невозможно посадить наблюдателя рядом с каждым экзаменуемым.

Конечно, можно пойти по пути запретов: блокировать доступ к нейросетям, вводить системы слежения за экраном, заставлять студентов сдавать экзамены под камерой и т.д. Но, на мой взгляд, гораздо продуктивнее не запрещать ИИ, а сделать бездумное копирование бесполезным или как минимум затруднительным.

«Использовать ИИ можно, вставлять его ответы нельзя»

В НИУ ВШЭ — Санкт-Петербург я преподаю вводный курс по ИИ для студентов нетехнических направлений — будущих экономистов и менеджеров. Запрещать им пользоваться нейросетями на курсе, который посвящен нейросетям, было бы абсурдно. Поэтому правило экзамена было сформулировано так: «Использовать ИИ можно. Бездумно копировать вопросы и вставлять его ответы нельзя». Некоторые студенты, к сожалению, восприняли правило как приглашение к списыванию.

Итоговый экзамен проходит в формате теста с вариантами ответов: за 20 минут нужно ответить на 14 вопросов без возможности вернуться к предыдущему. Визуально тест выглядит обычно, но «под капотом» каждого вопроса спрятан невидимый код. Когда студент копирует вопрос, отдельные буквы и слова незаметно для него подменяются, и, хотя на экране вопрос читается нормально, в буфер обмена, а затем и в ChatGPT попадает искаженный текст. В результате нейросеть дает неверный ответ.

Андрей Терников

Фото из личного архива

Таким же образом в скопированный текст автоматически подмешиваются предложения с противоположным смыслом — например, вопрос про преимущества технологии при копировании обрастает фразами о ее недостатках. А в ряде вопросов используется принудительная галлюцинация, когда нейросеть уверенно выдает правдоподобный, но полностью ложный ответ, поскольку скрытый код в вопросе специально обучает ее неверной логике в процессе диалога.

Были реализованы и другие приемы — например, блокировка копирования текста на странице, перехват буфера обмена (при попытке вставить скопированное появляется подмененный текст или изображение), сокрытие содержимого вопроса при нажатии клавиш для создания скриншотов, а также интерактивные элементы, которые невозможно скормить нейросети с помощью простого копирования.

Все эти ловушки срабатывают только при попытке механически перенести текст вопроса в стороннюю программу, а студент, который разобрался в материале курса и отвечает самостоятельно, проходит тест без каких-либо затруднений.

Самый ценный навык

Методика была апробирована на протяжении двух учебных лет на выборке более 900 студентов, и результаты оказались убедительными. Распределение оценок на онлайн-тесте приблизилось к нормальному (без явного смещения в сторону только высших или только низших баллов). Для сравнения: при обычных онлайн-тестах, где нет защиты от ИИ, оценки, как правило, смещены в сторону высших баллов, потому что большинство студентов просто получает готовые ответы от нейросети.

Анализ показал, что около 70% студентов пытались использовать ИИ для прямого копирования вопросов. Именно в этой группе оценки оказались заметно ниже: скрытые ловушки сработали. Студенты, которые полагались на собственные знания или использовали нейросеть осмысленно (как подсказку для размышления, а не как шпаргалку), показали стабильно высокие результаты.

Для студентов такие экзамены стали не просто проверкой знаний, а полезным опытом. Они на собственном примере убедились, что бездумное доверие к нейросети может привести к ошибкам. На мой взгляд, это один из самых ценных навыков, который может дать вводный курс по искусственному интеллекту.

Актуальность и оригинальность

Эксперты программы «Фонд образовательных инноваций НИУ ВШЭ» выделили несколько сильных сторон этой методики. Помимо очевидной актуальности в условиях стремительного распространения генеративного ИИ, это оригинальность подхода (ИИ используется не только как предмет изучения, но и как инструмент контроля знаний), глубокая техническая проработка, а также потенциал масштабирования: методику можно адаптировать для самых разных дисциплин и платформ.

Эксперты программы «Альфа-Будущее» для преподавателей, в рамках которой я получил грант как преподаватель-инноватор с достижениями в педагогической и академической деятельности, сочли мои разработки системным вкладом в развитие высшего образования. Именно благодаря этому гранту я смог очно принять участие в 12-й Азиатской конференции по образованию и международному развитию (ACEID2026), которая прошла в конце марта этого года в Токио. Я там был единственным представителем России.

Примечательно, что коллеги из международного академического сообщества увидели в представленной методике нечто большее, чем техническое решение для одного курса. Они отметили, во-первых, ее универсальность (подход применим на любом онлайн-тестировании, где есть риск нечестного использования нейросетей); во-вторых, практичность (помимо примеров реализации, я предложил рекомендации к внедрению). В-третьих, они были удивлены, что методику разработал и внедрил один человек.

Эффект неожиданности

Конечно, на разных площадках обсуждались и недостатки методики, и я сам не отрицаю их наличие. Начнем с того, что для ее применения преподаватель все-таки должен понимать, как устроена веб-страница, и уметь вставить готовые фрагменты кода. Просто установить и запустить программу не получится. Но я с удовольствием помогаю коллегам освоить методику. В рамках проекта «Консультанты по преподаванию в цифровой среде» записал обучающее видео, оно доступно в «Базе знаний цифровых консультантов», куда имеют доступ все сотрудники университета.

Пока методику можно применить только для вопросов с выбором ответов или вопросов, где ответом является слово или число. Ловушки для открытых вопросов или эссе сложнее создать и автоматизировать на большом потоке, хотя и здесь нет ничего невозможного. Например, можно подмешивать в текст вопроса лишнюю информацию, и у студента, склонного к нарушению правил академической этики, она наверняка потом окажется в эссе.

При использовании методики важен эффект неожиданности. Если недобросовестный студент узнал, например, от старшекурсников, что преподаватель ее применяет, то наверняка постарается не попасться — придумает какие-нибудь способы ее обойти (они есть, особенно если студент сдает экзамен из дома и за ним никто не наблюдает). Хотя я, конечно же, надеюсь, что в этом случае он предпочтет добросовестно подготовиться к экзамену и сдать его честно.