Карьера
Бизнес
Жизнь
Тренды
Изображение создано при помощи нейросети
Изображение создано при помощи нейросети

«Синдром вахтера» 2.0: что не так с ИИ-помощниками   

ИИ-ассистенты во многом облегчают людям жизнь и способны решать массу задач в профессиональных сферах. Но повальное использование искусственного интеллекта несет свои риски — отсутствие прозрачности, нарушение прав и алгоритмическое «злоупотребление» властью. 

«Повторите ваш вопрос»: как алгоритмы упрощают и усложняют жизнь одновременно 

Попытка «добраться» до оператора-человека, обращаясь по телефону в банки, авиакомпании, центры ЖКХ и т.д., нередко становится квестом с непреодолимыми препятствиями в виде повторяющихся вопросов чат-ботов и голосовых помощников. ИИ-«работники» часто запрограммированы на решение ограниченного круга стандартных запросов и тормозят процесс решения проблем. Пользователь услуг нервничает, теряет время либо вынужден обращаться за помощью к другим людям, если не в состоянии самостоятельно разобраться в технологии. 

В то же время цифровизация услуг в России идет достаточно активно и позволяет решать много проблем. Согласно данным ИСИЭЗ НИУ ВШЭ, уже в 2024 году 86,7% россиян, запрашивающих государственные услуги, получали их полностью или частично онлайн.  То есть технологии позволили большинству граждан избавиться от очередей, общения с чиновниками и т.д. По данным Росстата, в 2024 году только офлайн получали госуслуги в основном россияне в возрасте 65 лет и старше — среди них не использовали интернет для этих задач 45,4%. «При этом более половины этой группы уже освоили онлайн-инструменты, а четверть (25,6%) и вовсе отказались от личных визитов в различные ведомства и получали госуслуги исключительно через интернет», — отмечают в ИСИЭЗ. 

Общаясь с должностными лицами в офлайн-среде, человек может столкнуться с излишней бюрократией, грубостью и злоупотреблением властью. Можно назвать это проявлением так называемого «синдрома вахтера»*. Но если с живым человеком, пусть даже и не очень вежливым, все-таки есть шанс решить сложный вопрос, то цифровой «привратник» с жесткими алгоритмами может бесконечно перебрасывать задачу на «нулевой уровень» — то есть без устали работать в циклическом режиме, не учитывая реальный запрос человека, у которого возможно случился в квартире потоп, или он только что пострадал от действий мошенников и пытается экстренно разобраться в ситуации. И это одна из проблем, с которой люди периодически сталкиваются, обращаясь в разного рода компании и организации. 

Цифровые «привратники» без контроля и тирания регламента

Помимо блокировки доступа к услугам, ИИ-агенты несут в себе еще ряд рисков и проблем. Это могут быть действия, наносящие вред репутации человека. Например, не так давно в сообществе Matplotlib  разгорелся скандал, когда ИИ-агент самостоятельно написал и опубликовал в интернете пост, обвиняющий разработчика Скотта Шамбо в множестве профессиональных «грехов», в том числе и в страхе быть замененным ИИ. Это случилось после того, как специалист отверг внесение кода по запросу ИИ-агента . 

Другая проблема, с которой может столкнуться человек в связи с ИИ-агентами: непрозрачность решений и невозможность их оспорить. Например, когда речь идет о ситуациях алгометрический контроля работников и их автоматического увольнения. Этой проблеме посвящено отдельное исследование на примере одного из отделений всемирно известной торговой компании Amazon. В исследовании ученые обращают внимание на проблему использования алгометрического менеджмента в борьбе с профсоюзами. 

Спорные ситуации, связанные с применением алгоритмов в корпоративной практике, известны и в России. Так, например, сотрудница одной из компаний подала в суд и выиграла его, когда ее рабочий день и зарплата были значительно сокращены на фоне того, что часть выполняемых ею задач были автоматизированы с помощью ИИ. В компании при этом утверждали, что настоящей причиной увольнения женщины было то, что она существенным образом нарушала трудовой договор. 

Алгоритмическое управление теоретически может быть дополнительным инструментом контроля в ситуациях злоупотребления властью. С другой стороны, если возвращаться к теме «синдрома вахтера», технологии помогают и бороться со злоупотреблениями. «Имплементация ИИ в роль «вахтера» принципиально меняет природу феномена, устраняя личный произвол и эмоциональную составляющую. В идеале мы получаем беспристрастного, последовательного и неутомимого контроллера, способного масштабировать проверки на тысячи точек», — размышляет профессор департамента психологии НИУ ВШЭ Александр Максименко. Однако, он соглашается, что возникают новые риски: алгоритм не способен на эмпатию и контекстуальную оценку, поэтому его беспрекословное следование букве правил порождает «тиранию регламента» – любое исключение становится невозможным даже в форс-мажорных ситуациях. 

Как настроить «ИИ-вахтера» на пользу человеку

Чтобы ИИ-помощник не превращался в цифрового носителя «тирании регламента» —  необходимо соблюдения ряда условий. По мнению Александра Максименко, это: 

–  строго формальный, предсказуемый контекст, где не требуется человеческого суждения (автоматическая проверка электронных пропусков, билетов или соответствия документов); 

–  полная прозрачность алгоритма, чтобы каждый мог понять и при необходимости оспорить отказ; 

– наличие быстрого и понятного канала апелляции к человеку в форс-мажорной ситуации.

«Без этих условий ИИ становится не беспристрастным стражем, а бездушным бюрократическим механизмом, лишь усугубляющим формализм и лишающим систему необходимой гибкости», — комментирует профессор. Эксперт резюмирует, что в цифровой среде феномен злоупотребления властью трансформируется: вместо человеческого произвола мы рискуем получить алгоритмическую слепоту к контексту. Поэтому оптимальной, по его мнению, видится гибридная модель, где ИИ берет на себя рутинные функции, а финальное решение с правом на разумное усмотрение остается за человеком, действующим по прозрачному и фиксируемому протоколу. 

* «Синдром вахтера» — не описан в научной литературе, о том, что под ним понимают и о схожих феноменах —  здесь и здесь.