Новости
Модель GLM-5.3 NVIDIA Развернута на Двух Станциях DGX с Использованием vLLM
NVIDIA продемонстрировала работу с моделью 753B -parameter GLM-5.3 на двух станциях DGX с использованием тензорного параллелизма и vLLM для эффективной локальной инференции.
Перевод статьи. Читать оригинальную статью.
NVIDIA представила метод локального обслуживания огромной модели GLM-5.3 NVFP4 , квантованной смеси экспертов (MoE) с 753 миллиардами параметров, на двух станциях DGX. Этот подход использует тензорный параллелизм и vLLM для разделения весов модели и вычислений между двумя графическими процессорами (GPU) GB300 , преодолевая ограничения памяти одной машины.
Проблемы моделей на грани возможностей
Модель GLM-5.3 требует приблизительно 464 ГБ памяти GPU для хранения своих весов, что значительно превышает 252 ГБ памяти HBM3e , доступной на одном графическом процессоре GB300 . Несмотря на разреженную активацию, которая снижает вычисления, активируя лишь 40 миллиарда параметров на токен, все веса модели должны оставаться доступны для динамической маршрутизации токенов к различным экспертам.
Техническая реализация
Для решения этих задач NVIDIA подключила две станции DGX через ConnectX-8 RDMA, позволяя тензорному параллелизму (TP=2) разделить тензоры модели между графическими процессорами. Станция A размещает конечную точку API, совместимую с OpenAI, в то время как Станция B работает как рабочий узел. Обе станции обрабатывают каждый запрос, при этом Станция A возвращает конечный результат.
Развертывание использует фреймворк vLLM, который поддерживает предсказание с несколькими токенами, хранение KV-кэша FP8 и кэширование префиксов для оптимизации пропускной способности при одновременной загрузке. Бенчмарки на наборе данных SPEED-Bench Coding показали пиковую пропускную способность 607.8 токенов в секунду при уровне конкуренции 16 , падая до 385.0 токенов в секунду при конкуренции 32 , со средней задержкой запроса 453.5 секунд.
Предварительные условия и настройка
Настройка требует две станции DGX GB300 на базе Linux, подключенные и подтвержденные с использованием руководства NVIDIA "Подключить две станции DGX". Каждая станция должна иметь как минимум 464 ГБ свободного дискового пространства для контрольной точки модели и дополнительное пространство для изображения контейнера vLLM и временных файлов. Развертывание также требует Docker, NVIDIA Container Toolkit и доступ к определенным наборам данных и лицензиям.
Во время конфигурации пользователи определяют переменные окружения для сетевых и аппаратных настроек, обеспечивая корректное взаимодействие между станциями. Контейнер vLLM затем запускается с моделью GLM-5.3 , распределенной между графическими процессорами, обеспечивая эффективную локальную инференцию.
Импликации для ИИ-инфраструктуры
Эта демонстрация подчеркивает растущую необходимость в распределенных настройках GPU для обработки моделей на грани возможностей, которые превышают емкость отдельных машин. Используя тензорный параллелизм и продвинутые фреймворки, такие как vLLM, организации могут развертывать крупномасштабные модели ИИ локально, не полагаясь на решения на основе облака.
Другие статьи на русском · Финансовые сравнения и источники SEC (на английском)