新闻

NVIDIA GLM-5.3 模型在两台 DGX 站点上使用 vLLM 部署

NVIDIA 展示了如何通过张量并行和 vLLM 在两台 DGX 站点上高效地服务于 753B 参数的 GLM-5.3 模型。

NVIDIA GLM-5.3 模型在两台 DGX 站点上使用 vLLM 部署

NVIDIA 展示了一种在两台 DGX 站点上本地服务于巨大的 GLM-5.3 NVFP4 模型的方法,这是一种具有 753 亿个参数的量化专家混合模型 (MoE)。该方法利用张量并行和 vLLM 将模型的权重和计算分配到两个 GB300 GPU 上,从而克服单台计算机的内存限制。

前沿规模模型的挑战

GLM-5.3 模型需要大约 464 GB 的 GPU 内存来存储其权重,远远超过单个 GB300 GPU 上可用的 252 GB HBM3e 内存。尽管稀疏激活只激活每个 token 的 40 亿个参数,从而减少计算,但所有模型权重仍必须保持可访问,以支持动态 token 路由到不同的专家。

技术实施

为了解决这些挑战,NVIDIA 通过 ConnectX-8 RDMA 连接两台 DGX 站点,使张量并行 (TP=2) 能够将模型的张量分配到 GPU 上。站点 A 托管 OpenAI 兼容 API 端点,而站点 B 作为工作节点运行。两个站点处理每个请求,站点 A 返回最终输出。

该部署使用 vLLM 框架,支持多 token 预测、FP8 KV-cache 存储和前缀缓存,以优化在并发负载下的吞吐量。SPEED-Bench Coding 数据集的基准测试显示,在 16 的并发水平下,峰值吞吐量为 607.8 tokens 每秒,降至 385.0 tokens 每秒的并发 32,平均请求延迟为 453.5 秒。

前提条件和设置

该设置需要两台运行 Linux 的 GB300 DGX 站点,使用 NVIDIA 的 "连接两台 DGX 站点" 方案进行连接和验证。每个站点必须至少有 464 GB 的可用磁盘空间用于模型检查点,以及额外的空间用于 vLLM 容器镜像和临时文件。部署还需要 Docker、NVIDIA Container Toolkit 以及访问特定数据集和许可证。

在配置过程中,用户需要为网络和硬件设置定义环境变量,以确保站点之间的正确通信。然后启动 vLLM 容器,将 GLM-5.3 模型分配到 GPU 上,从而实现高效的本地推理。

对 AI 基础设施的影响

这一演示突显了对分布式 GPU 设置日益增长的需求,以处理超过单台机器容量的前沿规模模型。通过利用张量并行和先进的 vLLM 框架,组织能够在本地部署大规模 AI 模型,而不依赖于基于云的解决方案。

登录收藏文章 免费账号:建立研究收藏,随时回来继续阅读。