Новости

Модель GLM-5.3 NVIDIA Развернута на Двух Станциях DGX с Использованием vLLM

NVIDIA продемонстрировала работу с моделью 753B -parameter GLM-5.3 на двух станциях DGX с использованием тензорного параллелизма и vLLM для эффективной локальной инференции.

Модель GLM-5.3 NVIDIA Развернута на Двух Станциях DGX с Использованием vLLM

Перевод статьи. Читать оригинальную статью.

NVIDIA представила метод локального обслуживания огромной модели GLM-5.3 NVFP4 , квантованной смеси экспертов (MoE) с 753 миллиардами параметров, на двух станциях DGX. Этот подход использует тензорный параллелизм и vLLM для разделения весов модели и вычислений между двумя графическими процессорами (GPU) GB300 , преодолевая ограничения памяти одной машины.

Проблемы моделей на грани возможностей

Модель GLM-5.3 требует приблизительно 464 ГБ памяти GPU для хранения своих весов, что значительно превышает 252 ГБ памяти HBM3e , доступной на одном графическом процессоре GB300 . Несмотря на разреженную активацию, которая снижает вычисления, активируя лишь 40 миллиарда параметров на токен, все веса модели должны оставаться доступны для динамической маршрутизации токенов к различным экспертам.

Техническая реализация

Для решения этих задач NVIDIA подключила две станции DGX через ConnectX-8 RDMA, позволяя тензорному параллелизму (TP=2) разделить тензоры модели между графическими процессорами. Станция A размещает конечную точку API, совместимую с OpenAI, в то время как Станция B работает как рабочий узел. Обе станции обрабатывают каждый запрос, при этом Станция A возвращает конечный результат.

Развертывание использует фреймворк vLLM, который поддерживает предсказание с несколькими токенами, хранение KV-кэша FP8 и кэширование префиксов для оптимизации пропускной способности при одновременной загрузке. Бенчмарки на наборе данных SPEED-Bench Coding показали пиковую пропускную способность 607.8 токенов в секунду при уровне конкуренции 16 , падая до 385.0 токенов в секунду при конкуренции 32 , со средней задержкой запроса 453.5 секунд.

Предварительные условия и настройка

Настройка требует две станции DGX GB300 на базе Linux, подключенные и подтвержденные с использованием руководства NVIDIA "Подключить две станции DGX". Каждая станция должна иметь как минимум 464 ГБ свободного дискового пространства для контрольной точки модели и дополнительное пространство для изображения контейнера vLLM и временных файлов. Развертывание также требует Docker, NVIDIA Container Toolkit и доступ к определенным наборам данных и лицензиям.

Во время конфигурации пользователи определяют переменные окружения для сетевых и аппаратных настроек, обеспечивая корректное взаимодействие между станциями. Контейнер vLLM затем запускается с моделью GLM-5.3 , распределенной между графическими процессорами, обеспечивая эффективную локальную инференцию.

Импликации для ИИ-инфраструктуры

Эта демонстрация подчеркивает растущую необходимость в распределенных настройках GPU для обработки моделей на грани возможностей, которые превышают емкость отдельных машин. Используя тензорный параллелизм и продвинутые фреймворки, такие как vLLM, организации могут развертывать крупномасштабные модели ИИ локально, не полагаясь на решения на основе облака.

Другие статьи на русском · Финансовые сравнения и источники SEC (на английском)