Массовые заблуждения

2019 год заканчивается важным событием — в России утверждены первые национальные стандарты в сфере искусственного интеллекта. С сентября 2020 умные системы начнут «жить» по ГОСТУ, но отношение к ним отрегулировать сложнее. Их боятся и боготворят. А надо ли? О заблуждениях людей и сбитых с толку алгоритмах — в авторской колонке доцента факультета экономических наук ВШЭ Генриха Пеникаса.

В мае 2010 года на фондовых биржах США котировки резко упали на 9–10%, а в октябре 2016-го то же произошло с курсом британского фунта к американскому доллару. Эти события принято называть флэш-крэш (англ. flash crash «мгновенный обвал»), и многие связывают их с началом активного использования алгоритмической торговли — моделей, которые вместо людей проводили операции на биржах: «видели», что цена идет вниз, и действовали так, чтобы она снижалась еще больше.

И вот говорят: какие нехорошие модели, они завладели рынком. Но прежде чем ругать их, стоит посмотреть на поведение людей. При обсуждении флэш-крэш почему-то забывают о появлении еще в 1990-х понятия стоп-лосс. Речь о биржевой заявке на продажу акций, выставляемой трейдерами, когда стоимость ценных бумаг опускается ниже определенного уровня. С одной стороны, логично: это ограничивает убытки (stop loss в переводе с английского буквально «остановить потери»). Но с другой, срабатывает цепочка: котировка падает — торговая система автоматически активирует стоп-лосс — цена снова снижается — индикатор на стоп-лосс срабатывает у других, и они тоже начинают продавать.

То есть флэш-крэш на самом деле был явлением ожидаемым. Более того, есть любопытная книга об Уолл-стрит (The Story of Wall-Street), изданная еще в 30-х годах прошлого века, в которой говорится, что название улицы стало каноническим для места, где можно сделать состояние за дни, а потерять за часы. Сегодня, почти через сто лет, мы бы сказали — потерять за минуты. Но сама ситуация заставляет задуматься: роботы в 1930-х на бирже не торговали, а современные нам проблемы были. Поэтому я бы модели не винил: они лишь отражают поведение человека.

Алгоритмы, как и людей, можно обмануть. Например, в 2017 году исследователи из Массачусетса показали, как можно обманывать Google Cloud Vision (GCV), алгоритм машинного обучения, «облачный» доступ к которому корпорация предоставляет своим клиентам. Специфически изменив узор «тестовой» черепашки, инженеры добились того, чтобы GCV видела в ней винтовку. Казалось бы, смешно — до тех пор, пока речь не идет о системах, принимающих решения.

Обманутая в Массачусетсе модель была уже стандартной, готовой к коммерческому применению разработкой, обученной на данных Google. Использующему GCV в своем продукте клиенту не нужно писать собственную «нейронку» или обучать, что занимает значительное время и требует большого объема размеченных данных. Такие клиентские решения — их предлагают Google, Amazon, Microsoft — сейчас очень популярны: не надо думать, писать код, погружаться в математику. Но тогда не надо и удивляться ни черепашкам-винтовкам, ни снижению фондовых индексов.

Алгоритмы машинного обучения практически нельзя проверить. Они работают по своим правилам, обучаясь на размеченных человеком данных. Чтобы эти правила понять, ученым уже приходится наблюдать за поведением машины точно так же, как это делают исследователи поведения животных — при помощи цифрового аналога «ящика Скиннера»: в строго регламентированном пространстве, где лишние факторы «взяты на контроль». Создание такой экспериментальной среды для искусственного интеллекта требует отдельных усилий, сопоставимых по времени с созданием кода изучаемой «нейронки».

Еще один вопрос — этичность алгоритмов. Их критики заявляют: это бездушный искусственный разум, использование которого ведет к дискриминации. Не бездушный и не с душой. Просто машина, действующая исходя из того, что в нее загружено. В 2018 году вышла статья ученых из американского университета Беркли. Они построили модель, «советующую» кому давать, а кому не давать кредиты. На входе в алгоритм не заложили показатель расы, однако в итоге доля положительных решений о кредитовании светлокожих американцев была больше, чем темнокожих. На основе этого авторы статьи упрекают модель: какая неэтичная, мы всем обществом выступаем против дискриминации, а она дискриминирует.

Но если начать разбирать исследование, вывод получится другим. Показателя расы в модели действительно нет, зато есть показатель доходов. В качестве вводных данных использовалась социологическая выборка, где просто по факту доходы были меньше у афроамериканцев. Соответственно, они чаще становились неплательщиками, и искусственный интеллект поместил их в зону риска.

Есть исследования, упрекающие модели в ущемлении прав женщин при трудоустройстве. Но и здесь дело в выборке: машина работала с такой, где процент женщин был меньше, и по умолчанию воспроизводила, что доля мужчин, которым стоит предложить вакансию, должна преобладать.

Словом, нарушение чьих-то прав — это не результат «нехорошести» алгоритмов. Машина учится и дает заключение на основе загруженных в нее реальных данных. Если они некорректны или отличаются от новой действительности, то некорректны или отличаются от ожиданий и выводы, а если адекватны — машине можно доверять и не придется обвинять в дискриминации.

Хотя дискриминировать в прямом смысле слова (discrimino с латинского — «отделяю», «различаю») любая модель просто обязана. Когда вы задаете ей вопрос, с какими заемщиками или работниками стоит иметь дело, а с какими — нет, важно, чтобы она правильно отделила хороших от плохих. Иначе какой в ней смысл?

В конечном счете, все эти примеры — и с обвалом котировок, и с дискриминацией — не про «коварство» роботов, а про ошибки людей. Мы сами можем не замечать реальности или искажать ее, и такие истории позволяют это увидеть.
IQ