27 декабря 2016
Профессор-исследователь Департамента больших данных и информационного поиска факультета компьютерных наук ВШЭ
Прогнозами заниматься дело неблагодарное, тем более что прогресс в области современных методов машинного обучения обгоняет самые смелые ожидания в последние годы. Но некоторые направления в области обучения глубинных нейронных сетей, в которых можно ждать существенных продвижений в ближайшее время, я рискну назвать.
Во-первых, это развитие идей нейросетевого обучения с подкреплением, которое позволит разработать новые самообучающиеся алгоритмы для агентов, взаимодействующих с окружающей средой. Это могут быть как роботы, так и программы, действующие в виртуальном пространстве, например, играющие в интеллектуальные игры типа Го (уже сделано) или Starcraft (в процессе). Главной целью тут, конечно, станет создание алгоритма, умеющего «на ходу» приспосабливаться к новой сложной игре или окружению.
Во-вторых, это разработка новых методов обучения «на лету» и мета-обучения. Первое позволяет компьютеру схватывать новые понятия и смыслы по нескольким примерам, подобно тому, как это делает человек, и в отличие от современных нейронных сетей, которые выучивают новое понятие после демонстрации тысяч и десятков тысяч примеров.
Второе позволяет нейронной сети самой подбирать параметры своего метода обучения. Сейчас качество и скорость обучения нейронных сетей существенно зависит от выставления ряда параметров (обычно называемых гипер-параметрами, чтобы отличать их от весов сети, которые, собственно, и настраиваются в ходе обучения), а также от архитектуры самой сети. Сейчас они определяются человеком или полуавтоматичексим процедурами, далекими от оптимальных. Из-за этого нейросети учатся дольше и хуже, чем могли бы.
Появившиеся в 2016 году работы показывают, что эту работу в принципе можно передоверить вспомогательной нейронной сети. Как все мы помним со средней школы, признаком завершения промышленной революции является момент, когда «машины начинают производить машины». Возможно, в будущем такой же важной вехой станет момент, когда нейросети начнут обучать нейросети и есть основания полагать, что это случится уже в 2017 году.
В-третьих, нейронные сети научатся говорить с человеком (как в смысле генерации текстов реплик, так и в смысле синтеза речи, неотличимой от человеческой), генерировать фотореалистичные картинки и видеоряды по текстовому описанию, писать большие осмысленные тексты. Это станет нашим ближайшим будущим благодаря стремительному прогрессу в области т.н. генеративных моделей глубинного обучения. Конечно, это приведет к созданию новых бизнесов, появлению новых видов товаров и услуг, а также к росту производительности труда в традиционных отраслях экономики, типа мобильных операторов или банков, которым можно будет отказаться от дорогостоящих и неэффективных колл-центров.
Решение всех этих задач станет важным шагом на пути к Святому Граалю машинного обучения — созданию искусственного интеллекта. В следующем году ИИ, конечно, не появится, но через 5–10 лет он, несомненно, будет разработан. Тем более что уже имеющиеся элементы искусственного интеллекта будут помогать ученым в создании полноценного ИИ и, тем самым, позволят ускорить работу в этом направлении. Создание ИИ станет важнейшим достижением человечества и обеспечит ему мощный цивилизационный рывок вперед.
Важно отметить, что стремительный прогресс в области ИИ стал возможен во многом благодаря тому, что эти разработки ведутся открыто и любой человек, имеющий минимальную необходимую подготовку (например, выпускник факультета компьютерных наук НИУ ВШЭ), может принять в них участие: даже у крупных IT-корпораций – лидеров в области глубинного обучения нет никаких секретов (кроме ближнесрочных коммерческих), программные реализации большинства методов доступны, так же как и математическое описание алгоритмов, оказывающихся на удивление не такими сложными, с учетом глобальности решаемых с их помощью задач. Это выгодно отличает машинное обучение, скажем, от космической или ядерной программ середины XX века.
Лекция Дмитрия Ветрова о машинном обучении (для того, чтобы понять, что это вообще такое)
Лекция Дмитрия Ветрова о математике больших данных: тензоры, нейросети, байесовский вывод
Учебник исследователей из MIT Deep Learning
В канун Нового года особенно хочется заглянуть в будущее. Мы попросили ученых ВШЭ, представляющих разные области знаний, поделиться своими прогнозами о том, какие направления исследований будут особенно перспективны в 2017 году, где можно ожидать открытий и прорывов и как все это изменит нашу жизнь.
