Изображение создано при помощи модели Шедеврум
Студенты повсеместно используют нейросети в учебе и при создании академических работ, а у преподавателей все чаще возникает вопрос: где проходит граница между эффективной работой с применением ИИ-инструментов и бездушной генерацией? Как выявлять злоупотребление нейросетями в студенческих работах, рассказала заместитель директора Департамента образовательных программ Института образования ВШЭ Мадина Давлатова на онлайн-семинаре «Не только ИИ: распознавание сгенерированных текстов и поддержка академической честности» в рамках Мастерской учителя НИУ ВШЭ.
Мадина Давлатова
Доцент Высшей школы экономики, заместитель директора Департамента образовательных программ, эксперт Центра поддержки цифрового обучения Института образования НИУ ВШЭ и консультант по преподаванию в цифровой среде.
Далеко не все преподаватели имеют представление о том, как правильно реагировать на использование студентами искусственного интеллекта: не все и не всегда верно определяют степень участия нейросетей.
Кроме того, у преподавателей и студентов разное отношение к генеративным моделям: для учащихся нейросети в основном являются полезным инструментом оптимизации образовательного процесса, учителя же расценивают использование ИИ студентами как нежелание вникать в тему самостоятельно, полагаясь на «волшебную таблетку» технологий.
Однако некоторые все же признают, что ИИ помогает преодолевать страх чистого листа и искать новые способы решения задач. Правда, не всегда понятно, где проходит грань между использованием ИИ как вспомогательного инструмента и полным перекладыванием на него своих задач.
В 2023 году в Медицинской школе Файнберга Северо-Западного университета Чикаго специалисты провели исследование по определению факта генерации материалов. В рамках эксперимента организаторы выбрали 5 реальных научных работ и к каждой из них сгенерировали аннотацию. Затем результаты перемешали с оригинальными текстами и загрузили в ИИ-детектор, а также передали их на слепое рецензирование экспертам. По итогам исследования удалось выяснить, что алгоритм выявляет искусственный интеллект в среднем на 14% лучше человека.
Как отмечает спикер, из этого эксперимента можно сделать два главных вывода: первый — на первый взгляд, мы можем доверять ИИ-детектору при анализе текстов; второй — способность человека «чувствовать» искусственный текст сильно преувеличена, поэтому для точности все-таки стоит учитывать разные данные, в том числе предложения алгоритмов.
Однако и превосходство технологии над человеком совершенно не означает ее безапелляционность. ИИ-детекторы порой совершают ошибки, определяя авторский текст как сгенерированный. При работе с ИИ важно помнить, что алгоритмы распознавания нейросетей хрупки и зависят от многих факторов.
«Модель пытается предугадать следующее слово на основе частотных и однотипных структур. Когда происходят небольшие изменения в тексте, то алгоритм решает: «Ой, а здесь чуть по-другому, значит, это уже человек, а не генерация.» И поэтому, например, перефраз может очень сильно влиять на результат», – поясняет Мадина Давлатова.
Под «перефразом» подразумевается замена частей текста и некоторых слов синонимами — такая практика может путать ИИ-детектор, и очевидно сгенерированный текст будет восприниматься алгоритмом как человеческий.
Особое внимание также уделяется проблеме ИИ-детекторов при работе с инофонами — пользователями, говорящими и пишущими на неродном языке. В данном случае алгоритм порой проявляет предвзятость к пользователю, так как его логика повествования может отличаться от логики типичного носителя языка, и «живой» текст помечается как сгенерированный.
Несмотря на вышеназванные трудности с определением ИИ в тексте, уже существуют подходы к выявлению факта генерации.
Мадина Давлатова выделяет следующие:
Чтобы упростить выявление генерации, существует целый ряд конкретных признаков использования ИИ при написании текста. Их можно условно разделить на три категории: содержательные, лексические и структурные.
Особое внимание стоит уделить общему стилю повествования: его подозрительная однородность и неестественно богатый для студента словарный запас, скорее всего, подтвердят факт генерации.
Для преподавателя важно не только выявить факт использования ИИ со стороны студента, но и продемонстрировать адекватную реакцию на это.
«Просто поставить «ноль» и сказать, что я такую работу не буду принимать, – не сработает. Поэтому я обычно делаю так: я пишу, как правило, что я не против, пожалуйста, пользуйтесь. Но давайте будем честными. И я пишу, почему я считаю, что это генерация, подтверждаю все фактами и прикрепляю скриншоты», – говорит Мадина Давлатова.
Академическая честность между преподавателем и студентами изначально закладывается самим преподавателем, подчеркивает она. Для того, чтобы не возникало ситуаций, когда студент скрывает факт использования ИИ в своей работе, важно обговаривать на берегу допустимую степень вовлеченности нейросетей в учебный процесс: например, в формулу оценивания можно закладывать такой критерий, как авторская оригинальность. Что касается самих работ, решением может стать обязательное приложение черновиков и источников информации, которыми студент пользовался при подготовке.
Одной из эффективных схем внедрения ИИ в образование является шкала AIAS (The AI Assessment Scale). Она представляет собой пятиступенчатую пирамиду с различными уровнями взаимодействия с генеративными моделями при обучении, которая помогает преподавателям правильно учесть роль искусственного интеллекта в заданиях. Каждый уровень показывает равные условия использования ИИ как для учеников, так и для учителя: это способствует укреплению академической честности и формированию образовательного этикета между всеми участниками учебного процесса.
«Попытайтесь определить для себя, на каком уровне взаимодействия с ИИ вы хотите реализовывать обучение с вашими студентами и учениками. Тогда вы сможете подобрать и корректные сервисы, и настроить работу с вашими учащимися», – советует эксперт.
Автор: Елизавета Лугинец, исследователь Проектно-учебной лаборатории экономической журналистики НИУ ВШЭ
В подписке — дайджест статей и видеолекций, анонсы мероприятий, данные исследований. Обещаем, что будем бережно относиться к вашему времени и присылать материалы раз в месяц.
Спасибо за подписку!
Что-то пошло не так!
