NVIDIA Alpamayo 2 Edge 优化了车载系统的 AV 推理

NVIDIA推出了 Alpamayo 2 Edge，这是一个拥有 2 亿参数的自适应推理视觉-语言-行动 (VLA) 模型，旨在满足车载自主驾驶 (AV) 系统的计算和延迟约束。该模型旨在 NVIDIA DRIVE AGX Thor 上实时部署，解决了在边缘环境中平衡推理质量和效率的挑战。

Alpamayo 2 Edge 的主要特性

Alpamayo 2 Edge 基于 NVIDIA Cosmos 3 Edge 的 Nemotron 推理骨架，并结合扩散动作专家。它处理来自全景摄像头的输入、时间上下文和导航指令，以生成因果链 (CoC) 推理和驾驶轨迹。该模型采用自适应推理，以最大限度减少例行驾驶过程中不必要的令牌生成，从而节省推理计算资源。

为了进一步优化性能，Alpamayo 2 Edge 经过 NVIDIA AlpaGym 的闭环强化学习 (RL) 进行后训练。与没有 RL 的最佳性能检查点相比，该过程使闭环驾驶性能提高了 48.9%。此外，该模型支持多分辨率输入和 DFlash2 的推测解码，能够高效进行在线推理而不牺牲质量。

评估与部署

为了确保推理质量，NVIDIA 开发了 AlpaJudge，这是一个经过人类校准的评估和奖励模型。AlpaJudge 评估推理踪迹，选择高价值训练数据，并提供 RL 奖励。开发者可以将 AlpaJudge 集成到工作流程中，通过以下方式提升模型性能：

• 对 PhysicalAI-AV 样本进行评估。
• 选择暴露学习机会的训练示例。
• 将推理评分用作后训练的奖励。

Alpamayo 2 Edge 的部署配方包括使用 NVIDIA TensorRT 和 TensorRT-Edge-LLM 的量化和推理加速技术。这些优化使得在 DRIVE AGX Thor 上实现像素到轨迹的延迟为 160-190 毫秒。

性能基准和行业反馈

与 Qwen- Drive-1.0 相比，Alpamayo 2 Edge 在闭环驾驶、开放环轨迹预测和场景理解基准中表现更优。它在 AlpaSim 模拟中达到大约 40 倍的起因事件间距离。

早期采用者报告了显著的改进。PORT 的首席技术官 Matas Simonavicius 强调，Alpamayo 2 Edge 维护车道纪律的频率是其前身 Alpamayo 1.5 的两倍，规划轨迹的速度也提高了两倍。同样，Niulinx 的联合创始人 Luca Crotti 注意到，在零样本评估的 3 秒期间，侧向预测误差减少了 46.1%。Embedl 的首席执行官 Hans Salomonsson 确认，该模型在部署的 48 小时内在 AGX Thor 上实现了 10 Hz 的实时规划速度。

这些进展使 Alpamayo 2 Edge 成为将基于推理的驾驶能力集成到车载AV系统中的强大解决方案。