FLUX 3: новая мультимодальная модель, объединяющая изображения, видео и аудио

Компания Black Forest Labs объявила о запуске FLUX 3 в режиме раннего доступа. Новая модель представляет собой мультимодальную фундаментальную модель, которая обучается одновременно на изображениях, видео и аудио. Разработчики подчёркивают, что ни одна отдельная модальность не даёт полного описания реальности.

Единая архитектура для разных типов данных

FLUX 3 построена на принципе совместного обучения: модель видит, как объекты устроены, как они движутся и как звучат события. Каждый тип данных — это проекция одной и той же реальности, зафиксированная разными сенсорами, и при преобразовании часть информации теряется.

Изображения передают пространственную структуру, видео — динамику, аудио — звуковую картину. Только объединяя их, можно получить более полное описание мира. Именно этот подход заложен в основу FLUX 3.

Что это значит для пользователей

Ранний доступ позволяет разработчикам и исследователям испытать возможности модели. Пока не раскрыты детали о точности, скорости работы или конкретных сценариях применения. Однако сам факт появления мультимодальной модели в таком формате говорит о новом этапе в развитии ИИ.

В перспективе FLUX 3 может найти применение в анализе видеопотоков, создании контента, системах понимания сцен и других задачах, где требуется комплексное восприятие.

Официальный блог компании отмечает, что модель ещё находится на стадии раннего доступа, и это лишь первый шаг к более глубокому пониманию мира с помощью искусственного интеллекта.