Как сообщает NVIDIA в корпоративном блоге, компания расширила платформу Cosmos — набор открытых моделей и инструментов для создания так называемых мировых моделей (world models): ИИ, который учится предсказывать поведение реального мира и нужен роботам и беспилотным автомобилям. По данным компании, платформа входит в топ-5 шести открытых лидербордов моделей.
Главная новинка — Cosmos Data Factory, инструменты для подготовки обучающих данных: разметки, отбора, дополнения и оценки в больших объёмах. В него теперь входят пять облачных блюпринтов — готовых сценариев: генерация датасетов для беспилотных автомобилей, создание видео редких и опасных событий из фотографий, синтетические изображения дефектов печатных плат, металла и стекла, изменение погоды и освещения в готовых съёмках, варьирование внешнего вида объектов для поиска по картинкам. Доступ — через GitHub, Microsoft Azure, Nebius и CoreWeave.
Инструментами уже пользуются крупные компании. Porsche с помощью Voxel51 на Microsoft Azure развивает общий «маховик данных» для беспилотных автомобилей брендов Volkswagen Group — как ожидается, это сократит повторные физические тест-драйвы до 90%, а циклы разработки — до 85%. ANYbotics сгенерировала более 1 500 синтетических видеороликов, проверяя результаты на платформе Encord, чтобы обучить роботов-инспекторов распознавать разливы жидкостей и другие изменения на объектах, а Ultralytics дообучила модель компьютерного зрения YOLO на синтетических дефектах, улучшив их локализацию и полноту обнаружения.
На конференции GTC Berlin NVIDIA также представила открытый модульный фреймворк Cosmos Framework для обучения, оптимизации и развёртывания моделей и обновлённую модель Cosmos 3. Через него можно дообучать открытые модели GR00T, Alpamayo, QWEN, Pi0.5 и другие совместимые модели Hugging Face методами файн-тюнинга и обучения с подкреплением, а затем сжимать дистилляцией и квантизацией. Лаборатория MicroAGI дистиллировала 32-миллиардную версию Cosmos 3 для рассуждений до 8-миллиардной Nano-модели без потери точности.
Новые варианты Cosmos 3 Nano для симуляции позволяют тестировать стратегии беспилотных автомобилей и двуручных роботов в повторяемых, трудновоспроизводимых сценариях ещё до реальных испытаний. Обновлённые микросервисы Cosmos 3 NIM (готовые контейнеры для запуска моделей) ускоряют инференс, то есть обработку запросов, до двух раз без потери качества в проверенных конфигурациях, а непрерывный видеоанализ даёт предупреждения менее чем за секунду.
Блюпринт NVIDIA Metropolis для видеопоиска и суммаризации (VSS 3.3), построенный на Cosmos NIM, помогает командам обрабатывать на 40% больше видеопотоков на том же GPU. ADNOC с помощью платформы MistIQ компании Fogsphere, созданной на Cosmos и Metropolis VSS, в реальном времени выявляет угрозы безопасности на 65 объектах, а для редких событий Fogsphere генерирует синтетические обучающие данные — без физического воспроизведения опасных ситуаций.
