NVIDIA подробно описывает Cosmos Framework и NIM для развертывания мировых моделей

NVIDIA заявила, что расширяет Cosmos программным обеспечением, направленным на две практические задачи физического ИИ: адаптацию мировых моделей к сенсорам, задачам и данным разработчика и надежное внедрение этих моделей в приложениях.

Фреймворк для обучения, моделирования и оптимизации

В блоге разработчиков, опубликованном в 2026-11-02году, NVIDIA описала Cosmos Framework как открытую, модульную среду для обучения мировых моделей, оптимизации и вывода моделей. Компания отметила, что фреймворк предоставляет агентские навыки и рецепты для мультимодальной обработки данных, обучения, усиленного обучения и рабочих процессов развертывания. Также отмечается, что Cosmos Framework расширяется за пределы Cosmos 3 для поддержки NVIDIA Alpamayo, GR00T, Qwen, pi0.5 и других совместимых моделей Hugging Face.

NVIDIA заявила, что фреймворк поддерживает обучение по тексту, изображениям, видео, аудио и действиям, с LoRA для эффективной адаптации по параметрам или полной контролируемой тонкой настройки для обновления всех параметров модели. Также добавлено, что поддерживаемые входные данные включают JSONL, WebDataset, LeRobot и пользовательские адаптеры, а обучение может выполняться между GPU с контрольными точками, сохранёнными для возобновления запусков.

Компания также сообщила, что теперь платформа охватывает как онлайн, так и офлайн пути обучения с подкреплением, включая DPO, GRPO, PPO, OPD и DiffusionNFT. Согласно сообщению, пользователи могут запускать, вознаграждать и обучать роли на общих GPU или отдельных пулах, а также подключать поддерживаемые симуляторы для сбора опыта.

Симуляционные рабочие процессы для транспортных средств, роботов и хирургии

NVIDIA выделила несколько рецептов симуляции Cosmos, построенных на контрольных точках Cosmos 3 Nano. Для автономных транспортных средств было указаноCosmos3-Nano-Transfer-Auto использует двунаправленную генерацию для одновременного шумошума целого многовидного клипа для офлайн-генерации синтетических данных. В посте говорилось, что поддержка ввода и выхода видео с 30 fps с до 400 кадров при 480p или 720p, а более длинные последовательности можно генерировать с помощью авторегрессивного фрагментирования. Также отмечается, что эталонный запуск даёт семь 720p видео или 297 кадров при 30 FPS, плюс 99 LiDAR sweeps.

Для симуляции вождения в замкнутом цикле NVIDIA заявила Cosmos3-Nano-Sim-Auto — это причинный, несколькоступенчатый вариант Transfer-Auto, который генерирует наблюдения постепенно в виде антивирусной политики или человеческого вождения, обновляющего сценарий через рендерер карты мировых сценариев. Компания заявила, что эталонное развертывание записывается в каталог выходов/sim_auto/daytime_scene/ и создаёт синхронизированные видео с камеры и наблюдения LiDAR авторегрессивно.

Что касается робототехники, NVIDIA отметилаCosmos3-Nano-Sim-Transfer преобразует видео с глубиной и подсказку в RGB-видео, сохраняя при этом геометрию и движение, а Cosmos3-Nano-Sim-Bimanual генерирует следующее визуальное наблюдение из действий сцены и робота для симуляции два руки. Для хирургического моделирования в посте говоритсяCosmos3-H-Embodied-Nano может генерировать хирургическое видео из действий робота, предсказывать действия по видео или генерировать оба процесса вместе, а Cosmos3-H-Dreams — это дистиллированная причинная модель для симуляции в реальном времени с замкнутым циклом.

Микросервисы NIM для ускоренного вывода

NVIDIA заявила, что пакеты Cosmos NIM поддерживают модели в оптимизированных контейнерах для ускоренного вывода и более простого развертывания производства. Компания отметила, что пакет может использовать квантование, спекулятивное декодирование, кэширование, обрезку токенов и маршрутизацию с учётом кэша KV, а также отметила, что спекулятивное декодирование обеспечивает измеренное среднее ускорение примерно в 2 – 3 раз на H200.

В посте также говорится, что Cosmos NIM поддерживает индивидуальные тонко настроенные контрольные точки и прямые трансляции через потоковую VLM-инференцию, что, по их словам, может обеспечивать оповещения за секунду с 10 кратно меньшей задержкой. Добавлено, что внедрение включает автоматический выбор конфигурации, проверенную производительность и качество на поддерживаемых GPU, поддержку лицензирования, а также ежеквартальные обновления по функциям, оптимизации и безопасности.

NVIDIA включила таблицу памяти для GPU, показывающую Cosmos3-Edge, требующую 16 ГиБ в BF16 и 14.5 ГиБ в FP8 для рассуждения, Cosmos3-Nano требует 23.1 ГиБ в BF16 и FP8 для рассуждения, а Cosmos3-Супер требует 135 ГиБ в BF16 и 67 ГиБ в FP8. Для генерации в таблице указаны Cosmos3-Nano при 58 GiB в BF16, 44 GiB в FP8 и 31 GiB с FP8 плюс разгрузка.

Компания сообщила, что в четверг, 5ноября, проведёт прямую трансляцию о том, как пользоваться Cosmos Framework. Также было отмечено, что разработчики могут внедрять модели Cosmos для рассуждения и генерации с использованием сертифицированного Cosmos NIM на более чем 20 NVIDIA GPU.