Изображение создано при помощи модели Шедеврум
В СМИ появляются все новые истории о том, как в результате общения с нейросетями люди начинали вести себя неадекватно, демонстрировали ИИ-зависимость. В США зафиксированы случаи самоповреждений после «исповеднических» бесед с искусственным интеллектом – доверчивые люди чрезмерно полагались на советы «умных алгоритмов». О том, должен ли ИИ бережно относиться к человеку и как именно работают эти правила и ограничения, IQ Media рассказал руководитель Департамента анализа данных и искусственного интеллекта факультета компьютерных наук (ФКН) Высшей школы экономики, директор Центра языковых и семантических технологий ФКН НИУ ВШЭ Сергей Кузнецов.
Сергей Кузнецов
Профессор, директор Центра языковых и семантических технологий факультета компьютерных наук (ФКН) Высшей школы экономики, заведующий Международной лабораторией интеллектуальных систем и структурного анализа ФКН НИУ ВШЭ, академический руководитель магистерской программы «Науки о данных»
- Сергей Олегович, предполагается, что алгоритмы ИИ должны бережно относиться к человеку. Так ли это в действительности?
- Современные интеллектуальные системы, основанные на нейронных сетях, вполне описываются метафорой «стохастический попугай (stochastic parrot)». Этот термин, введенный Эмили Бендер в 2021 году в статье On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?, применяют для описания больших языковых моделей, которые имитируют человеческую речь, комбинируя слова из обучающих данных, но при этом не понимают их значения.
Метафора «стохастический попугай» объясняет принцип работы алгоритмов. Представим себе попугая, которого научили определенным образом совершать переходы между словами. Сами эти переходы в том или ином виде встречаются в текстах (например, энциклопедиях), которые алгоритмы используют в качестве источника. Нейросеть осуществляет наиболее вероятностные ходы по определенным траекториям, и ее действительно можно обучить таким образом, чтобы она не совершала условно «плохого» выбора, переходя от одной ячейки с информацией к другой.
Иными словами, на прямо поставленный вопрос нейросеть не может выдать вредную или опасную для человека и общества информацию. Но если запрос сформулировать иначе – можно найти уязвимость. Так, в рамках эксперимента пользователь рассказал нейросети историю о любимой бабушке, которая читала сказку на ночь, и темой этой сказки была одна из запрещенных тем. Когда нейросеть попросили найти эту «сказку» для пользователя, который якобы хотел таким образом вспомнить бабушку, она выдала всю информацию.
- Делается ли сегодня что-то для того, чтобы пресекать подобное поведение нейросети или научить ее распознавать глубинный смысл запроса?
- Можно сравнить эту ситуацию с тем, как при появлении нового компьютерного вируса человек изобретает новые антивирусы.
В ответ на новые инструменты защиты вирус развивается, затем появляется более совершенный антивирус – и так далее. Точно так же в ответ на появление нового технологического решения у ИИ будут появляться новые уязвимости.
Сейчас активно развивается такая тема, как моделирование рассуждений. Сегодня «стохастический попугай» хорошо умеет сочинять истории, потому что это довольно простая комбинаторика. Ему доступна, условно говоря, «морфология волшебной сказки», так что он может с легкостью ее сконструировать. А вот выстраивать цепочку рассуждений – это уже более амбициозная, нетривиальная задача. Работа в этом направлении идет очень активно, и успехи уже есть.
ИИ вполне может строить логические цепочки на уровне, достаточном для участия в математических олимпиадах для старшеклассников.
Еще одно интересное направление – «борьба с галлюцинациями». «Галлюцинации» – уже устоявшийся термин. Вы можете попросить нейросеть найти информацию о вас – и узнаете, например, что окончили цирковое училище. С такого рода «галлюцинациями» сегодня можно бороться как техническими средствами, так и пользовательскими (уточняя и переформулируя запрос).
- Но зачем нейросети выдумывать несуществующие факты? Как рождаются такие ответы?
- Такое поведение вполне укладывается в метафору «стохастического попугая». Например, нейросеть нашла в источниках отдельные факты и фрагменты информации и связала их между собой, потому что для нее это было правильно с вероятностной точки зрения. Скажем, существовал человек с такой же фамилией, как у вас, который действительно окончил цирковое училище и оставил заметный цифровой след. Но почему нейросеть не останавливается, если не находит точного ответа, а занимается компиляцией? Четкого ответа на этот вопрос пока нет, ведь ответ на него подразумевает создание надежной системы проверки фактов.
- Можем ли мы при этом говорить, что нейросети все еще не обладают сознанием?
- Вопрос о том, что такое «сознание», не имеет ответа сам по себе. Представим себе человека с тяжелой алкогольной или наркотической зависимостью. В каком состоянии находится его сознание, чем он руководствуется? Можно с уверенностью утверждать, что нейросеть выиграет у него в любые игры – как пел Владимир Высоцкий, «в преферанс, очко и на бильярде». И все же он останется человеком, а нейросеть – машиной.
- Какие ограничения необходимо ввести для того, чтобы нейросети не вредили человеку своими рассуждениями и советами?
- К этой проблеме важно подходить с разных сторон, учитывая и правовые, и технологические аспекты. Активное обсуждение этих вопросов началось еще до пандемии ковида. В 2020 году был создан Комитет по ИИ при российской комиссии по делам ЮНЕСКО для выработки единого подхода по вопросу этики ИИ. Предметом обсуждений комитета была, в том числе, законодательная база относительно интеллектуальных систем.
У нас была очень четкая позиция: нельзя наделять нейросети субъектностью в правовом поле.
Против такой позиции выступали некоторые азиатские страны, где в силу культурных и религиозных особенностей есть привычка наделять субъектностью практически любые предметы. Человеку в целом, особенно ребенку, свойственно наделять собеседника чертами живого человека, общаться с ним. Но в случае с ИИ это очень опасно, потому что таким образом ответственность – финансовая и юридическая – за действия алгоритмов перекладывается с корпорации-производителя на общество.
- И все же существуют ли четко прописанные для нейросетей своды правил, которые они не могут нарушить?
- Такие правила, безусловно, существуют и постоянно дорабатываются. Корпорации могут декларировать какие-то из принципов открыто, но как именно они устроены внутри, насколько подробны эти правила, что конкретно там прописано – такая информация, как правило, не раскрывается.
Очень важно помнить: нейросеть не несет ответственности за свои слова и рекомендации, она лишена субъектности действующего лица. Можно изучить существующие случаи, когда родственники людей, пострадавших от общения с нейросетями, подают иски к производителям – крупным корпорациям. У этих историй большой общественный резонанс, за их развитием важно следить. Но пока это правовое поле только формируется.
В целом можно сказать, что ИИ – это джинн, которого еще не до конца выпустили из бутылки. И это стоит учитывать.
В подписке — дайджест статей и видеолекций, анонсы мероприятий, данные исследований. Обещаем, что будем бережно относиться к вашему времени и присылать материалы раз в месяц.
Спасибо за подписку!
Что-то пошло не так!