Обучение с подкреплением позволило лучше работать генеративным потоковым нейросетям

Ученые Центра ИИ и Института искусственного интеллекта и цифровых наук факультета компьютерных наук НИУ ВШЭ применили классические алгоритмы обучения с подкреплением для настройки генеративных потоковых сетей (GFlowNets). Это позволило улучшить работу GFlowNets, которые применяются уже три года для решения сложнейших научных задач на этапах моделирования, генерации гипотез и экспериментального проектирования. Результаты работы вошли в 5% лучших публикаций на Международной конференции по искусственному интеллекту и статистике AISTATS, которая состоялась 2–4 мая 2024 года в Валенсии.

Исследование поддержано грантом для исследовательских центров в области искусственного интеллекта, предоставленным Аналитическим центром при Правительстве РФ.

Генеративные потоковые сети (GFlowNets) — это метод в машинном обучении, который помогает создавать разнообразные и качественные образцы данных благодаря тому, что настраивает модель генерировать вариативные объекты с высокими наградами. Их начали внедрять в 2021 году, и с тех пор они применяются в различных областях: в обучении языковых моделей, в комбинаторной оптимизации (например, составлении сложных расписаний), дизайне печатных плат, моделировании молекул лекарств с заданными свойствами и пр.

Устройство GFlowNets можно описать на примере конструктора лего: по недостроенному объекту и набору доступных деталей модель будет пытаться предсказать, в какое место и с какой вероятностью нужно добавить деталь, чтобы по итогу мы могли с большой вероятностью собрать хороший макет машины или корабля.

Никита Морозов
Стажер-исследователь Центра глубинного обучения и байесовских методов Института искусственного интеллекта и цифровых наук ФКН НИУ ВШЭ

Обучение с подкреплением (Reinforcement Learning, RL) — одна из парадигм машинного обучения, в которой агент обучается взаимодействовать со средой с целью максимизации функции награды. Классическая модель, построенная на основе обучения с подкреплением, AlphaGo, — первая в мире программа, победившая в настольную игру го профессионального игрока.

Генеративные потоковые сети и обучение с подкреплением схожи тем, что в качестве обучающего сигнала получают функцию награды. Однако GFlowNets пытается не максимизировать награду, а обучиться генерировать объекты с вероятностями, пропорциональными награде.

Ученые Центра ИИ и Института искусственного интеллекта и цифровых наук факультета компьютерных наук НИУ ВШЭ впервые показали, что задача обучения генеративных потоковых сетей максимально схожа с общей задачей обучения с подкреплением, а также применили специализированные методы обучения с подкреплением для генерации дискретных объектов, например молекулярных графов.

Мы показали, что классические алгоритмы обучения с подкреплением применительно к GFlowNets работают сравнимо и даже эффективнее известных современных подходов, разработанных специально для обучения этих моделей. Так, в рамках задачи моделирования молекул лекарств с заданными свойствами за время обучения нашего метода было сгенерировано на 30% больше высококачественных молекул, чем у существующих методов.

Алексей Наумов
Научный руководитель Центра ИИ, директор по фундаментальным исследованиям Института искусственного интеллекта и цифровых наук ФКН НИУ ВШЭ

Исследователи подчеркивают, что использование существующих методов обучения с подкреплением для обучения GFlowNet напрямую, без дополнительной адаптации этих методов, позволит ускорить прогресс развития новых методов в медицинской химии, материаловедении, энергетике, биотехнологиях и во многих других областях, где GFlowNet нашли применение за три года существования.