Tencent выложил world model Hy-Nomas в открытый доступ

Tencent открыл код и веса world model Hy-Nomas — нейросети, генерирующей видео с управлением текстом и камерой. Модель доступна под лицензией Apache 2.0 и способна работать даже на одной видеокарте уровня RTX 4090.

Мощная видеокарта на столе рядом с объективом камеры и пустой кинехлопушкой — генерация видео нейросетью
Фото: ИИ bitPress

Как сообщает канал «эйай ньюз», Tencent выложил в открытый доступ свою world model под названием Hy-Nomas. World model, или «модель мира», — это нейросеть, генерирующая видео и реагирующая на действия пользователя; анонс Hy-Nomas состоялся за несколько дней до Genie 4.

Модель пополнила ряд аналогичных разработок — MIRA, Solaris и Odyssey-3 — и поддерживает управление текстом и камерой. Видео достраивается фрагментами, а связность между ними обеспечивается через KV-кэш, служебную память модели. Движение камеры можно задать заранее или менять от фрагмента к фрагменту.

Код и веса распространяются по лицензии Apache 2.0, допускающей свободное использование и модификацию. Дообучать модель можно на собственных видео методом LoRA — когда обучается лишь небольшая надстройка, а не вся сеть. Для «киношной» картинки и робототехники уже есть готовые адаптеры.

Для генерации на одной видеокарте RTX 4090 предусмотрен облегчённый конфиг: INT8-квантизация (сжатие модели с понижением точности), ограниченная история и выгрузка моделей в оперативную память. Скорость работы в этом режиме не указана.

В Reactor с полной историей на связке 8×B200 получено около 18.5 FPS генерации.