Исследования «Яндекса» вошли в основную программу ICML — одной из крупнейших конференций по машинному обучению

Разработчики искусственного интеллекта сегодня ищут способы повысить производительность моделей, не наращивая вычислительные мощности. Исследователи «Яндекса» предложили несколько решений. В одной из работ они создали новые программные модули для графовых нейросетей, которые анализируют объекты и связи между ними — например, между пользователями и товарами или участками дорожной сети. Модули позволяют гораздо эффективнее использовать память видеокарт. В экспериментах удалось ускорить вычисления до 8,5 раза, снизить пиковое потребление памяти до 76 раз, а отдельные операции — в 3,9–10 раз. Код модулей опубликован в открытом доступе. Эта работа получила статус Spotlight, присваиваемый статьям с самыми высокими оценками от программного комитета (всего 536 работ, или 2,2% от общего числа заявок).

Ускорение обучения и новые алгоритмы

В другом исследовании «Яндекс» показал, как ускорить обучение больших языковых моделей (LLM). При конвейерном параллелизме часть видеокарт простаивает, а асинхронные схемы считались нестабильными из-за задержки градиентов. Однако авторы выяснили, что деградация качества связана не с задержкой, а с выбором алгоритма оптимизации. Например, современный метод Muon гораздо лучше переносит задержку, чем классический AdamW. Внедрив лёгкую коррекцию на основе Error-Feedback, исследователи добились, что асинхронный метод на моделях Mixture of Experts (MoE) размером 10 миллиардов параметров (обученных на 200 миллиардах токенов) показал качество, равное синхронному обучению.

Ещё в одной статье предложены два новых алгоритма оптимизации — SoftSignum и SoftMuon. Они задают, как модель обновляет параметры в процессе обучения. В экспериментах эти методы стабильно превзошли несколько распространённых подходов, включая AdamW.

Работа со сложными данными и нехваткой разметки

Для графовых задач «Яндекс» разработал GraphPFN — модель, предварительно обученную на более чем 1,6 миллиона синтетических графов. Даже без дополнительной настройки она показала высокое качество, а после адаптации превзошла все рассмотренные подходы на большинстве реальных наборов данных. Это позволяет быстрее создавать модели для новых задач и использовать меньше данных для обучения.

Другое исследование показало, что нейросети лучше работают с таблицами, если учитывают неопределённость в данных. Авторы предложили эффективный способ представления числовых признаков.

Отдельная работа, выполненная совместно с другими авторами, решает проблему нехватки качественной разметки данных — особенно актуальную в медицине и промышленности. Предложенный подход позволяет использовать небольшое количество размеченных данных вместе с большим объёмом неразмеченных, что снижает затраты и время на обучение моделей.

Наконец, «Яндекс» представил метод ускорения поисковых и рекомендательных систем. Новая техника предварительно отбирает наиболее подходящих кандидатов, которых затем оценивает более точная, но ресурсоёмкая модель, что сокращает вычислительные затраты.