Нейросеть для саморефлексии

Искусственный интеллект может помочь во многих сферах: от составления юридических договоров и бизнеса до медицинских обследований. Но стоит ли делиться с ним самым сокровенным, «слишком человеческим» – чувствами, идеями, планами, разработками, заветными желаниями? Об этом в интервью IQ Media размышляет научный сотрудник Международной лаборатории прикладного сетевого анализа НИУ ВШЭ Анна Карташева.

Сверить возможности человека и алгоритма

Что такое этика искусственного интеллекта и каков ее главный критерий?

Важным понятием этики в области интеллектуальных систем становится бенчмарк [специальный софт, эталонный тест производительности компьютерной системы – ред.]. Это образец, с которым сравнивается система и делается вывод, насколько она удовлетворяет заданным характеристикам.

Этика интеллектуальных систем говорит о том, как измерить соответствие системы человеческим нуждам, а не о том, кто хороший, кто плохой. Существует направление в англоязычной науке – AI alignment (AI – artificial intelligence, «искусственный интеллект», alignment – «выравнивание, согласование»). Что значит «выровнять систему»? Есть человеческие интересы и нужды, и у системы есть руководящие правила. Необходимо, чтобы наши интересы и интересы системы совпадали, чтобы система слушалась нас, чтобы у нее не появлялось интересов, которых нет у человечества.

Диагностические сеты по этичности не могут быть устоявшимися: слишком много неопределенности в критериях оценки работы ИИ. Но следует отметить, что оценка этичности – лишь одна небольшая часть, а можно измерить все, что угодно: как большая языковая модель рассуждает, как решает математические примеры. Так, многие модели лучше работают с текстом, чем с математикой, – у них, например, есть проблемы с логикой, с чтением диаграмм.

Этика vs функциональность

ИИ нередко используется в работах, предполагающих самостоятельное мышление. 

У каждого алгоритма есть определенная архитектура, дающая ряд ограничений. Любой ответ языковой модели построен на предыдущем знании, это наиболее вероятный ответ на данный вопрос. Именно поэтому ее ответы зачастую такие безликие.

Другой аспект – отсутствие обратной связи. Если спросить у языковой модели, кто мать актера Тома Круза, она ответит: «Мэри Ли (Пфайффер)». А если спросить у нее же, кто сын Мэри Ли Пфайффер, она не ответит. Почему? Это история про отсутствие обратной связи и недостаток информации для выводов. О Томе Крузе масса информации, поэтому вывод сделать легко, а вот о его матери уже не так много сведений, и, казалось бы, явления связаны, но для языковой модели это не так. Для нее чем больше информации, тем более вероятен вывод. Можно сказать, что есть задачи, которые классно решать с помощью ИИ, а есть задачи, которые неправильно так решать.

Если, например, писать эссе, то теоретически это лучше делать без использования модели, потому что только так можно придумать идеи, которые раньше не встречались. ИИ не может их выработать. Генерация им новых идей основана на сочетании старых.

ИИ может «поштурмить» вместе с человеком, предоставить интересные выводы, но нечто кардинально новое он не сможет придумать, равно как и простроить логическую взаимосвязь. Тут возникнут проблемы, как с Мэри Ли Пфайффер или с решением математических задач. 

Однако в ряде задач большие языковые модели точно нужно использовать: при анализе, когда мы имеем дело с большим массивом данных, в контент-анализе, когда надо найти закономерности в большом объеме материала.

Существует концепция Copilot («второй пилот»), когда ИИ может «поштурмить» с нами, помочь в маркетинговом исследовании, набросать список тем для постов в соцсетях, например, по психологии. И эти темы будут действительно популярны среди читателей (ведь модель опирается на данные относительно того, что больше интересует аудиторию), но здесь не будет чего-то совсем нового. Эти ограничения нужно понимать. Этика здесь, конечно, тоже есть (не используй чужого!), и она отнюдь не вторична. Но, когда мы говорим об образовании, важнее вот эти смыслы: нужно показать способы, как и в каких областях можно эффективно использовать ИИ.

Алгоритм как собеседник и преподаватель

Значит, главное – использовать ИИ адресно?

Да. Но важна еще одна история. По сути, концепция Copilot – о возможности саморефлексии. Взаимодействуя с языковой моделью, мы так или иначе общаемся с самими собой, видим себя словно в зеркале. Заглядываем в это зеркало и видим себя. Но, если отражение нам не нравится, может быть, стоит поработать с оригиналом, уделить внимание развитию своих способностей?

Сейчас популярны техники нейрогимнастики, развития творческого воображения и памяти, потому что этого нам подчас не хватает, и хотелось бы это прокачать. Возможность рефлексии с помощью ИИ крайне ценна. Так можно проверять свои гипотезы и идеи, усиливать аргументы. Было бы замечательно учить этому студентов.

Скажем, я придумала гипотезу, и ее нужно протестировать. Друзья не всегда готовы к этому. Преподаватель тоже зачастую не успевает. Ведь, по сути, нужно с каждым учащимся вступать в глубокий рефлексивный диалог. Образование – процесс, когда ты говоришь студенту: «Как ты думаешь, это вот так? А может, по-другому?». Ты задаешь наводящие вопросы, которые постепенно приводят его к осознанию того или иного факта. ИИ-помощники, способные вступать в содержательные диалоги с учащимися (например, проверять усвоение материала), адаптируемые под отдельного человека с его индивидуальным темпом обучения, могут обеспечить качественный скачок для образования.  

Доверить ИИ свой распорядок

Мы часто почти безоглядно доверяем разнообразным приложениям по фитнесу, диетам, здоровому сну, распорядку дня. Насколько это этично?

Хороший вопрос. Не стоит забывать, что все доступные сейчас ИИ-помощники – коммерческие продукты, цель которых – что-то продать. Они смоделированы так, чтобы создавать ощущение какой-либо нехватки. Скажем, вы едете и видите на карте путь и точку назначения, и рядом популярное кафе, куда можно зайти. Казалось бы, присутствие кафе на карте не должно влиять на ваш выбор, но почему-то у этой точки увеличивается объем выручки. Иными словами, за технологиями искусственного интеллекта всегда стоят какие-то компании, у которых есть свои интересы.

Второй момент: вдруг те данные и документы, которые мы загружаем в чат-бот во время общения с ним, секретные? Вдруг их нельзя загружать, а мы это делаем, не думая, куда они дальше пойдут? Любой человек должен понимать, что в этом случае возможна утечка данных. Здесь как раз возникают вопросы этики, касающиеся всех заинтересованных людей, сообществ и акторов ИИ. Есть специальные документы, где прописана важность этичного поведения акторов – разработчиков, пользователей, организаций и пр. Альянс в сфере искусственного интеллекта разработал соответствующий Кодекс этики. 

Нужна информационная гигиена в работе с ИИ?

Верно, осторожность и обоснованность. Одно дело – составить расписание поездки, режим дня или меню на день (хотя и тут есть нюансы), и совсем другое – то, что связано с данными, в частности, если вы подписали NDA [соглашение о неразглашении информации]. Вести себя этично – это прежде всего сознавать и эти моменты.

Переложить груз решений

Идея сгрузить свою ответственность на умный алгоритм тоже заключает в себе определенный этический момент.

Да, когда мы передаем руль своей жизни некоей системе, чтобы она решала за нас. Вместе с тем, зачастую это необходимо. Например, есть системы, которые в автомобилях принимают решение о том, что нужно остановиться, еще до того, как человек это осознал, – для безопасности. И в этом случае человеку нужно положиться на систему.

С другой стороны, вспомним историю Boeing 737 MAX 8 с инженерной ошибкой в конструкции. Произошло несколько катастроф, прежде чем увидели, что там есть проблемы проектирования (неверные предположения о том, как поведет себя система автоматического управления в определенных ситуациях и как отреагируют пилоты). Так или иначе, здесь предполагается огромная ответственность инженеров, в случае с ИИ – ответственность разработчиков.

Стоит отметить, что людям свойственно перекладывать ответственность на других. Возможно, стоит разрабатывать архитектуры технологий ИИ, которые не позволяли бы перегрузить на них всю ответственность.

Отдать эмоции умным технологиям

Иногда алгоритмы управляют и нашими эмоциями.

Яркий пример – аффективные вычисления: считывание и моделирование эмоций. В том числе, это касается социальных роботов, взаимодействующих с человеком. Компания Affectiva, созданная Розалин Пикар из Массачусетского технологического института (США), в числе прочих продуктов разработала детскую игрушку – «аффективного тигра», робота, который откликается на эмоции ребенка, считывает их. Тут получается богатая история: эмоции можно провоцировать. Например, ребенок загрустил, а взаимодействие с игрушкой развеселит его. Это, кстати, актуально и для пожилых людей (в Японии эта опция активно используется). Но здесь много нюансов. Этично ли настолько отдавать на откуп ИИ человеческие эмоции? Исследования говорят о том, что в детских садах нельзя использовать человекоподобных роботов: происходит нечто похожее на импринтинг, дети начинают безоглядно доверять роботам. Если за пожилыми людьми роботы могут ухаживать, то за малышами – большой вопрос. Также в восприятии роботов часто встречается эффект «зловещей долины» [неприятие антропоморфных роботов].

В области человеко-машинного взаимодействия (Human-Computer Interaction, HCI) есть противоположные аффективным вычислениям теоретические течения, в которых утверждается, что нужно моделировать не эмоции, а эмоциональный опыт, и делать продукты, которые позволяют человеку включаться в эмоциональный опыт, оставляя ответственность на своей стороне.

Возьмем два примера. У Affectiva есть браслет, который показывает ваше эмоциональное состояние, – это подход аффективных вычислений. Здесь наблюдается диктат технологий. Ты чувствуешь себя нормально, а браслет уверяет: «Ты грустный». И ты думаешь: «Наверно, я грустный».

А у подхода, выбирающего аффективный (эмоциональный) опыт, есть приложение для смартфона, позволяющее отправлять SMS и общаться в мессенджерах в зависимости от того, какое у вас самочувствие. Вы берете телефон, и, если рука у вас дрожит, сообщения отправляются с красным фоном. Если вы играете в эту игру, и ваши друзья – тоже, они сразу видят ваше эмоциональное состояние (вы его продемонстрировали). Это именно эмоциональный опыт: мы сознательно делимся своим состоянием через гаджеты, но человек отсюда не исключается. Диктата технологий здесь нет. Мы должны, скорее, моделировать эмоциональный опыт и думать, как это делать.

Еще один вопрос в том, как должны быть выстроены ИИ-помощники, чтобы они не были коучами, чтобы диалог с умными алгоритмами не переходил рамки, не выходил в сторону: «Как мне строить свою жизнь?».

С другой стороны, мы не можем диктовать человеку: он спрашивает, как ему дальше жить, а мы ему говорим, что на этот вопрос он ответа не получит.

Алгоритмы уязвимости

С одной стороны, умные технологии облегчают нам жизнь. С другой, мы часто отдаем им на откуп самое сокровенное. Они знают о нас слишком много.

Вспомним историю с крупным супермаркетом, приславшим рекламу подгузников отцу девушки-подростка. Отец пошел разбираться, почему это произошло. Компания ответила, что, по их данным, его дочь беременна. Оказалось, это правда. Ее положение стало понятно по набору товаров, которые она покупала.

Еще одна история: компания решила сделать подарки своим лучшим клиентам (для поддержания их лояльности) и подарила то, о чем они мечтали, но не говорили даже своим близким. Эффект акции оказался противоположным ожидаемому: пользователи почувствовали, что их мысли прочитали, и были неприятно удивлены. Получилось, что компания знает информацию, которую люди хотели бы скрыть.

Смартфон нас «слушает» и подкидывает соответствующую рекламу.

Многое зависит от дизайна систем, инструментов, от того, что разрешено или запрещено. Кстати, в России действует правило, что все компании при применении рекомендательных систем обязаны размещать на своих сайтах специальный документ с разъяснениями, на каких основаниях выдаются рекомендации. 

Первая помощь через ИИ

Существуют психологические чат-боты, например, по самопомощи. Насколько это этично?

Было бы логично сказать, что не очень, но я считаю, что это очень гуманно, в том числе, с точки зрения доступности этих ресурсов. Многие не идут к психологу из-за стеснения, непонимания, как говорить о своей проблеме. А чат-боту они могут это сказать. И если, например, «на той стороне» сидит психолог, и он услышал, что человек проговорил что-то опасное, он может обратить на это внимание и предложить: «Смотри, есть специалисты, у них есть такие временные слоты, позвони им». Можно и переадресовать к специалисту, и снять какое-то кризисное состояние, если оно возникло. Такие ресурсы хорошо использовать в качестве индикатора проблем и для моментальной самопомощи. Например, они могут порекомендовать сделать какие-то упражнения.  

Однако стоит помнить, что это универсальные рецепты, а не адресные.

Архитектура этих систем не позволит сделать иначе. И, наверно, должна быть отбивка: «А теперь обратись туда-то», и сделать ее – это ответственность разработчиков.

Непростительные ИИ-ошибки

Так или иначе, мы ждем от этих систем персонализации?

Да. Расскажу одну историю. У нас с коллегой из УрФУ вышла статья о дилемме точности предсказания рекомендательных систем. В этом университете создали систему предсказаний будущей профессии для абитуриентов. Часто система очень точно предсказывала профессию, но нередко – неточно. Парадокс в том, что эта система не нравилась ни абитуриентам, ни руководству. Абитуриенты больше доверяют бабушке, а не какой-то системе. Последнюю воспринимали как оракула, но не верили ей. Однако надо понимать, что в архитектуре таких систем часто заложена возможность ошибок. Но если человеку мы можем простить оплошность, то системе мы ее не прощаем. Это показывают, скажем, записи звонков в техподдержку, когда у людей отключается интернет.

Но это и наша ошибка, что мы готовы передать ИИ всю ответственность.

Да, нередко мы готовы положиться полностью, потому что, если что-то пойдет не так, нам есть кого обвинить, и это очень удобно.

Человек не хочет постоянно что-то решать…

Да. У Даниэля Канемана есть понятия «система 1» и «система 2». Первую систему проще включить и работать с ней, принимать решения из разряда «по какой дороге идти домой», на автомате. Но есть решения, которые автоматически не примешь: куда поступать, где работать. Эти решения хочется с себя скинуть, поскольку они очень тяжелы.

И тут волшебный умный алгоритм появляется и решает что-то за нас?

Но есть и другая крайность, когда мы не доверяемся там, где стоило бы. Нужно идти между Сциллой и Харибдой, между доверием и недоверием. Кроме того, надо учитывать и культурные аспекты.

ИИ культурно-специфичен?

Да. Например, ChatGPT имеет конкретные политические предпочтения. В Китае действует собственный ИИ, придерживающийся определенных культурных ценностей. ChatGPT или Midjourney с трудом рисуют цветик-семицветик и, например, не знают Некрасова – просто потому, что им не попадались такие данные. Это следует учитывать. Любая языковая модель – отражение нашего общества, конкретных социальных групп. То же можно сказать про YandexGPT и GigaChat.

Этический кодекс: презумпция виновности

Обсудим этические правила, которые декларируют создатели умных алгоритмов.

Существуют документы, в которых прописаны правила и даже этические положения, как их видят разработчики. «Верхнеуровневые» разработчики очень ответственно подходят к своей деятельности. Как уже упоминалось, Кодекс этики в сфере ИИ подписали разные компании, и они постоянно актуализируют его. Университеты тоже разрабатывают свои кодексы этики.

Хочу сказать о широко известной дилемме Коллингриджа (из инженерной этики, частью которой является этика ИИ), которая отмечает, что есть проблема силы и проблема информации. Мы не можем внести изменения в технологию, пока она не разовьется: ведь мы не понимаем, какие изменения надо внести. В то же время, когда технология широко распространится, мы уже не можем внести в нее изменения. Решением дилеммы может быть принцип предосторожности: разработчики должны доказать, что их продукты не нанесут вреда. На разработчиках лежит большая ответственность, большие риски.

Но ведь их продукты и правда затрагивают самое тайное в человеке!

Включается холодный медицинский свет, это сокровенное разбирается, препарируется, а потом снова собирается и даже работает. И тогда возникает вопрос: что такое вообще – «человеческое»?