Изображение создано при помощи модели Шедеврум
Как искусственный интеллект прогнозирует траектории распространения вихрей и может ли заранее определить место зарождения урагана, «предвидит» ли нейросеть волны жары и другие погодные аномалии, за какими ИИ-моделями – будущее, IQ Медиа рассказал доцент факультета географии НИУ ВШЭ Михаил Криницкий.
Михаил Криницкий
Кандидат технических наук, доцент факультета географии и геоинформационных технологий НИУ ВШЭ, преподаватель курса «ИИ в науках о Земле», заведующий Лабораторией машинного обучения в науках о Земле МФТИ, старший научный сотрудник Лаборатории взаимодействия океана и атмосферы и мониторинга климатических изменений Института океанологии им. П.П. Ширшова РАН
Содержание:
– Михаил Алексеевич, в одной из лекций вы назвали основные задачи искусственного интеллекта в геофизике, океанологии, морской геологии, метеорологии и других науках о Земле. Это автоматизация измерений, моделирование процессов в геосферах, ускорение лабораторных исследований, более быстрая обработка данных и выявление неочевидных связей. Эти функции все так же актуальны?
– Да. Появляются новые темы, в которых можно применять искусственный интеллект, но эти магистральные направления до сих пор актуальны. Сразу уточню, что я называю искусственным интеллектом. Я говорю не про языковой, лингвистический ИИ, а про более общий, включающий множество методов.
Под искусственным интеллектом я подразумеваю, скорее, методы машинного обучения, которые включают в себя так называемый индустриальный искусственный интеллект.
С точки зрения индустриального ИИ, большие языковые модели – это генеративные модели, умеющие работать со специальным типом данных: текстом (последовательностью букв) либо последовательностью токенов. Генеративный подход, как на текстах, сейчас реализуют и в моделировании атмосферы, океана, климата (в принципе, это тот же прогноз временных рядов – например, прогноз показаний на метеостанции). Это сейчас актуально, но здесь есть важные особенности.
– О каких особенностях речь?
– В применении ИИ в науках о Земле мы вынуждены учитывать работу законов физики. А сегодня искусственный интеллект, который обучают на данных, измеряемых в природе, чаще всего обучают так, что он пока ничего не знает о физике процессов.
Я как физик по образованию, в первую очередь, пытался бы реализовать законы физики, а потом уже шел со стороны анализа данных.
Пока же в области применения ИИ в науках о Земле царит подход «задом наперед»: сначала мы обучим нейросеть на данных без учета физики, а потом, возможно, попытаемся внедрить туда физические ограничения, чтобы, например, порождаемая эволюция климата, атмосферы, океана была бы физически обоснована, консистентна, чтобы там соблюдались законы сохранения. Работы, в которых внедряют физические ограничения, есть, но массово это делать не пытаются.
Нейросетей, способных прогнозировать погоду или океан, – уже больше десятка (китайские, американские, европейские). В этом году Институт искусственного интеллекта AIRI уже представил российскую модель Marchuk. По атмосфере я могу назвать больше десятка, по океану – четыре на конец прошлого года. Что касается климата – в области наук о данных считается, что это одновременно атмосфера, суша и океан, просто на больших масштабах по времени.
Сегодня уже даже есть нейросети, которые полноценно поставлены на службу современных метеопрогнозов. В Европейском центре среднесрочных прогнозов погоды (ECMWF) в качестве прогнозов одновременно выкладываются и классический, гидродинамический прогноз погоды (IFS – integrated forecasting system), и прогноз погоды на основе ИИ (AIFS – на горизонте стандартных 10–14 дней; он включает прогнозирование ключевых метеорологических параметров: атмосферного давления, температуры, скорости ветра, осадков и др.). И по качеству они идут ноздря в ноздрю.
Есть немало нейросетей, которые умеют прогнозировать атмосферу и океан или заполнять пропуски в каких-то наблюдениях. При этом в процесс обучения этих нейросетей не внедряется ничего с точки зрения физических ограничений – сохранения энергии, сохранения потенциальной завихренности и пр.
И этому есть объяснение.
– Чем объясняется «пренебрежение» физикой?
– Начну издалека. Нейросети сами неплохо извлекают из данных закономерности, по которым работают атмосфера и океан, – во всяком случае, в отношении тех мер качества (метрик), которые мы измеряем.
Когда мы дали нейросети огромный массив данных наблюдений, она научилась неплохо их аппроксимировать (вычислять приближенно, без привлечения сложной атмосферной физики, но без существенной потери точности) либо прогнозировать с точки зрения тех мер качества, которое мы измеряем. В «стандартную тройку метрик» входят среднеквадратичное отклонение, средний модуль отклонения, паттерн-корреляция. С точки зрения этих мер качества нейросети работают на том же уровне, что и современные численные модели прогноза погоды.
– Здесь должно быть некое «но».
– Но, когда мы попытаемся измерить отклонение от законов сохранения, скорее всего, мы увидим, что отклонения у нейросетей – гораздо существеннее по сравнению с классическими моделями численного прогноза погоды. Это объяснимо.
Дело в том, что в момент обучения мы даем искусственной нейронной сети команду: «Сделай так, чтобы твоя ошибка была как можно меньше». И нейросеть так настраивается, чтобы эта ошибка была минимальной. Нейросеть – это достаточно гибкая модель, которая имеет возможность очень тонко настроиться и очень хорошо снизить свою ошибку. Благодаря современной математике и методам оптимизации таких гибких моделей это технически возможно. И мы говорим: «Отлично, она снизила ошибку, согласно которой мы измеряем качество». Пока что никакого подвоха.
Но есть «теорема об отсутствии бесплатных завтраков» («No Free Lunch Theorem»), относящаяся к методам оптимизации (минимизации ошибки). Одно из ее следствий такое: когда у нас есть нейросеть, и мы имеем некое множество задач и множество мер, по которым можем измерять качество этой модели на этих задачах, мы не можем гарантировать, чтобы эта модель была лучше всех остальных на этих задачах по всем мерам качества.
Если эта модель оптимальна на какой-то мере качества (среднеквадратичная ошибка), то, скорее всего, она проигрывает по другим мерам.
– Что это означает для прогнозов погоды?
– Это означает, что, если мы очень тонко настраиваем модель, и у нее среднеквадратичная ошибка будет меньше всего, – с высокой вероятностью, модель будет уступать в чем-то другом.
Когда мы явно не закладываем в момент обучения, чтобы модель еще и минимизировала отклонения от физических принципов, – скорее всего, она проигнорирует их и будет по ним проигрывать классическим гидродинамическим моделям. Это одно из следствий «теоремы об отсутствии бесплатных завтраков».
Когда мы не закладываем физику в модель ИИ, скорее всего, модель в момент обучения начинает ее терять. Упрощенно говоря, за что мы боролись, на то и напоролись. Мы оптимизируем среднеквадратичную ошибку модели и потом оцениваем качество модели по этой же ошибке, – естественно, оно будет хорошим!
По моим ощущениям, когда мы будем проверять нейросетевые модели, мы, вероятнее всего, получим проигрыш в существенных мерах – в соблюдении физики, воспроизведении значимых эффектов – по сравнению с классическими моделями прогноза погоды.
Но в целом, подчеркну, моделирование нейросетями атмосферы, океана, климата уже есть во многих случаях.
Из выступления Михаила Криницкого о создании первой российской базисной ИИ-модели океана: «Она упростит прогнозирование поведения океана и оценку его вклада в колебания климата Земли». По словам исследователя, уникальная особенность российской ИИ-модели океана будет в том, что она способна обучаться не только на результатах физически корректных расчетов климатических моделей и гидродинамического моделирования для всего Мирового океана, но и на базе индивидуальных замеров, сделанных с помощью автоматизированных станций, морских буев и пр.
– Кто обычно разрабатывает модели? Вероятно, цифровые гиганты, а не научные группы, которые специализируются на моделировании атмосферы, океана, климата?
– Цифровые гиганты. Научные группы (например, Европейский центр среднесрочных прогнозов погоды, у которого хватает и экспертизы, и вычислительных ресурсов) подтянулись попозже. Соответственно, главное, что необходимо для обучения хорошей прогностической модели, – это вычислительные ресурсы, суперкомпьютер. Чаще всего для хорошей модели нужны десятки либо даже сотни графических сопроцессоров.
Но по сравнению с языковыми моделями требуется меньшее количество вычислительных ресурсов. Если мы смотрим статьи о лингвистических моделях, в которых есть информация о затраченных вычислительных ресурсах, – они говорят о тысячах графических сопроцессоров. В то же время, в некоторых статьях об ИИ-моделях океана или атмосферы фигурируют всего восемь графических сопроцессоров. С одной стороны, это обнадеживает: мы можем сделать то же самое. С другой стороны, кажется, это ведет к недостаточно проработанному подходу в моделировании. Пока подробных результатов того, насколько хороши модели – одна, вторая, третья – нет, поскольку авторы исследований показывают те меры качества, которыми руководствуются при проверке своих моделей, а оценивать, как мы обсудили выше, на самом деле нужно не по этим величинам.
– По каким же? Как измерять качество моделей корректно?
– В моей лаборатории мы как раз прорабатываем вопрос, как нужно измерять качество этих моделей. И в центре внимания – уже не вышеупомянутая «великая тройка метрик». Работы, в которых опубликованы новые меры качества, которые должны быть похожими на то, что мы действительно должны оценивать, уже появились, но они единичные и не очень заметные.
– На каких мощностях вы отрабатываете со студентами Вышки задачи по прогнозированию?
– В рамках домашних заданий моего курса мы берем те задачи, которые можно решить на ноутбуках или на каком-либо облачном сервисе. Это, например, прогноз временных рядов – прогноз показаний на какой-нибудь метеостанции. Таких общедоступных наборов данных – немало (есть, например, сайт метеонаблюдений с «расписанием погоды»).
– В случае с прогнозами вихрей или ветровых волнений это работает?
– Здесь уже задействованы нейросети. Есть ноутбуки, на которых можно обучить нейросети, там есть графический сопроцессор. Я часто упоминаю GPU (Graphics Processing Unit), так как ускорение даже на самом слабом графическом сопроцессоре – примерно в 10 раз по сравнению с обычным, центральным процессором. А если есть хороший графический сопроцессор, серверный (как в Институте океанологии, в моей лаборатории в МФТИ или в облачных платформах), то выигрыш в скорости может быть уже в 20–50 раз. Сравните время вычислений: неделя vs пара часов.
Так что, если у студента есть графический сопроцессор в ноутбуке, он может обучить нейросеть. И на деле нейросети, которые детектируют вихри, выполняют пространственную детализацию атмосферы или определяют ветровое волнение по радарным снимкам, – достаточно примитивные по нынешним меркам и могут рассматриваться как учебные.
Мы даже пару публикаций выпустили, но их достижение – не в применении нейросетей, а, скорее, в консолидации усилий: сборе данных, их подготовке в нужном виде. Но данных все равно маловато – приходится дополнять их искусственно сгенерированными данными, которые похожи на то, что мы измерили. И тогда обучить нейросеть можно уже получше. И тогда весь подход, весь комплекс деталей – достоин публикации.
– Поговорим о прогностических моделях, «предвидящих» экстремальные природные явления – скажем, волны жары.
– Смотрите: искусственные нейронные сети или вообще ИИ – это статистические модели, вероятностные. С их помощью мы пытаемся аппроксимировать некоторое распределение вероятностей – либо каких-то событий, либо значений по событиям (температура на какой-то станции и пр.). И большинство статистических моделей хорошо работают в тех условиях, в которых они обучались, и плохо экстраполируют, особенно, если в них не внедрять физические ограничения. Так что экстремальные явления в текущем климате современные модели машинного обучения либо ИИ прогнозируют или аппроксимируют плохо, поскольку это попытка экстраполяции, работы за пределами распределения, на котором они обучались.
В то же время, попытка обучиться на редких событиях зачастую приводит к очередному следствию «теоремы об отсутствии бесплатных завтраков»: мы либо повышаем качество на общей массе измерений и при этом теряем качество на экстремальных событиях, либо другой вариант (мы повышаем качество прогноза или аппроксимации на экстремальных событиях, но теряем качество такой модели на общей массе событий).
Добавлю по поводу качества экстраполяции. В статистике есть отдельный раздел – статистика экстремальных событий, статистика аномальных явлений, которая работает иначе. Модель-то технически может быть та же самая, но она должна быть обучена по-другому, чтобы хорошо воспроизводить экстремальные события.
– Как вообще работает прогнозирование экстремальных явлений? Есть же база торнадо, смерчей и других опасных конвективных явлений. Нейросеть обучается, в том числе, на ней?
– В применении ИИ в науках о Земле самое важное – сначала сформулировать задачу, а потом уже выбрать лучший метод. Если мы пытаемся спрогнозировать именно образование экстремальных явлений, здесь нейросети и ИИ – плохие помощники. Почему?
Возьмем, допустим, тропические циклоны. Даже гидродинамические модели нормально прогнозируют их с трудом, поскольку тропические циклоны образуются внезапно, стохастически, в тех местах, где есть потенциал для их образования. Причем этот потенциал «размазан» по некоторой области океана, и где на этом огромном пространстве образуется условная «Катрина», предсказать сложно. Примерно так же, как если мы кипятим что-то в кастрюле, мы не сможем аккуратно спрогнозировать, где точно образуется очередной пузырь, хотя знаем, что где-то в районе нагрева он образуется, и даже не один.
А вот дальше – с точки зрения применения ИИ уже интереснее: тропический циклон развивается по хорошо исследованным законам. Набор данных о развитии и путешествии тропических циклонов – достаточно приличный. И есть нейросети, которые хорошо обучены на воспроизведение поведения тропических циклонов в тот момент, когда они уже образовались.
– Силу циклона таким образом можно спрогнозировать?
– Да. Но вот с помощью этих нейросетей, о которых я только что сказал, этим никто не занимается, поскольку в первые сутки, когда тропический циклон образовался, уже примерно видно, какой интенсивности он будет, – нет смысла дальше прогнозировать интенсивность.
– А траекторию распространения есть смысл прогнозировать?
– Да. Тут тропические циклоны ведут себя достаточно предсказуемо с точки зрения того, что это просто одно из атмосферных явлений, которое уже не считается аномальным, – это просто еще один очень интенсивный, но все же относительно стандартный вихрь. И нейросеть неплохо прогнозирует эволюцию атмосферы, в том числе, в плане траектории распространения крупных вихрей.
Так что спрогнозировать нейросетями или ИИ то, что называется быстрым и интенсивным возникновением аномальных явлений (rapid intensification в случае тропических циклонов), очень сложно, почти так же сложно, как и стандартными моделями прогноза погоды. Зато спрогнозировать дальнейшее развитие аномальных явлений – почти так же просто, как и обычными моделями прогноза погоды.
– Обсудим прогнозы землетрясений, разломов земной коры.
– Когда у нас есть большое количество данных, которые собраны в схожих условиях для этого региона или для всей планеты (у ИИ и машинного обучения есть «родовая травма» – необходимость в большом количестве данных, на которых нужно обучить модель), и мы можем обучить на них нейросеть, – скорее всего, у нас получится прогнозировать появление землетрясений.
– В беседе мы почти не касались дистанционного зондирования Земли. Спутниковые наблюдения остаются важнейшим источником данных?
– С точки зрения площадного покрытия спутниковые наблюдения – неоспоримый и самый объемный источник референсных (эталонных) данных, показывающих нам реальность (хотя они могут быть обработаны и дополнены). Нейросети мы обучаем на данных моделирования – реанализах, оперативных анализах, данных прогнозов, которые долгое время вычислялись именно численными моделями прогноза погоды (нейросети в каком-то смысле повторяют эти численные модели). Однако финальный референс, на котором валидируют нейросетевые или численные гидродинамические модели, – это именно спутниковые данные и наземные наблюдения (in situ – на месте – на поверхности воды, на метеостанциях, беспилотных и пилотируемых летательных аппаратах.)
– За какими моделями, на ваш взгляд, будущее?
– Будущее моделирования океана, атмосферы и климата – за гибридными моделями, в которых используется и искусственный интеллект, и классические вычисления на базе известной физики. Поэтому студентам, рассчитывающим на блестящие перспективы, нужно осваивать и физику атмосферы, океана и климата, и искусственный интеллект. И интегрировать в модели физические законы.
Научиться применять ИИ в науках о Земле можно, обучаясь в бакалавриате на факультете географии и геоинформационных технологий НИУ ВШЭ. С бакалаврской программой можно ознакомиться здесь. Информация о курсе «ИИ в науках о Земле» – тут.
В подписке — дайджест статей и видеолекций, анонсы мероприятий, данные исследований. Обещаем, что будем бережно относиться к вашему времени и присылать материалы раз в месяц.
Спасибо за подписку!
Что-то пошло не так!
