NVIDIA 快照加速在 Kubernetes 上的 GPU 工作负载恢复

NVIDIA 推出了快照，这是 NVIDIA DSX AI Factory 平台的一个开源组件，旨在显著减少 Kubernetes 上 GPU 工作负载的启动和恢复时间。通过使初始化的 GPU 工作负载能够在推理副本间重用，快照解决了由于冷启动造成的延迟，而冷启动尤其发生在推理需求激增或副本故障时，可能需要几分钟的时间。

NVIDIA 快照的工作原理

快照是一个 GPU 工作负载的检查点和恢复系统。它捕获一个完全初始化的工作负载，包括 CPU 和 GPU 内存，并在兼容的基础架构上恢复它。此过程绕过了重复的工作负载初始化步骤，比如权重加载、内核编译和 CUDA 图捕获，使推理能力能在几秒内上线，而不是几分钟。

该系统通过自定义资源与 Kubernetes 集成。用户可以创建一个 PodSnapshot 来检查正在运行的工作负载，或者创建一个 SnapshotJob 在初始化后立即检查工作负载。要进行恢复，新 Pod 引用已保存的 PodSnapshot，从捕获状态继续。快照支持跨多个 GPU 的工作负载在单个节点上运行，适合使用张量并行性（TP）和数据与专家并行性（DEP）等并行策略的大规模模型。

性能基准

基准测试表明，快照提供了显著的性能提升。例如，Crusoe，一个上游贡献者，将 NVIDIA HGX B300 硬件上的 GLM-5.3 Pod 就绪时间从大约 8 分钟减少到 31 秒。类似地，Saturn Cloud 报告称，vLLM 启动时间在相同平台上从 2–8.5 分钟下降到 6–34 秒。

在测试的配置中，快照将副本恢复到 3.6 到 42.7 秒，达成了与冷启动相比的 8x 到 36x 倍的加速。即使是在具有 1 TB 检查点的最大专家混合（MoE）模型上，恢复时间保持在 43 秒以下，相较于冷启动时的 6 到 19 分钟。

集成与应用案例

最初为 NVIDIA Dynamo 推理工作者开发的快照，现在可以与其他推理引擎、调度程序和平台进行集成。它支持 vLLM、SGLang 和 NVIDIA TensorRT LLM 等推理引擎，并为每个引擎提供现成的示例。该系统对于需要快速扩展或恢复推理工作负载的 AI 工厂操作特别有利。

快照的检查点过程涉及捕获 GPU 工作者的完整内存状态，而恢复过程则直接将该状态加载到新容器中。这消除了重复初始化步骤的需要，使其成为减少 AI 推理管道延迟的有价值工具。