NVIDIA 详细介绍了 DGX Spark 的三项推理优化

NVIDIA表示，三软件优化可以实质性提升在运行Inclusion 人工智能Ling-3.0闪存模型时对DGX Spark的推理能力，其中最大收益来自于组件配置为协同工作的推测解码。在2026年10月27日发布的一篇文章中，公司报告称令牌生成更快，端到端延迟更低，同时警告一集成失误可能导致合并后配置速度低于未优化基线。

NVIDIA的测量

根据NVIDIA的帖子，评估采用了 Ling-3.0-flash-fp4，这是一种专家混合模型，每个代币共有 124 亿个参数和 5.1 亿个活跃参数。基线遵循了公司的食谱配置，包括FlashInfer的 MXFP4 MoE内核、NVIDIA CUTLASS密集的GEMM和 fp32 LM头输出。NVIDIA表示，分析显示解码路径受内存限制，权重读取主导执行时间，MoE计算和输出层预测是优化的主要目标。

在合成工作负载中，输入符号 32,000 、输出符号 2,000 和批处理大小 1，首次优化将Humming MXFP4 MoE后端替换，使每个输出代币的时间从 27.71 毫秒缩短到 25.35 毫秒，译码吞吐量从 36.09 tok/s提升到 39.45 tok/s，即相对于基线的 9.3% ，据NVIDIA称。加入在线 FP8 LM磁头量化后，TPOT进一步降低至 22.76 毫秒，吞吐量提升至 43.94 tok/s，累计提升 21.7% 比基线。

第三种技术是多令牌预测推测解码，配合NEXTN进行，在合成测试中效果最大。NVIDIA表示，完整的三优化协议栈将TPOT降至9.72毫秒，解码吞吐量提升至102.88 tok/s，较该合成配置的基线有185.1%提升。公司表示，MTP接受长度在该测试中达到每轮3.90令牌，但提醒称，这一结果未能在其他工作负载上实现类似的提升。

端到端 GSM8K 结果则较为平淡

NVIDIA还报告了所有测试题目中更严格的端到端1,319 GSM8K比较，使用了五-shot提示、温度0.6、top_p 0.95、top_k 29和max_tokens 32,768，并启用了Chain-of-thought。在那次测试中，基线测试显示TPOT为26.45毫秒，tok/s为37.81，而完全优化的配置达到18.56毫秒TPOT和53.89 tok/s，吞吐量提升42.5%。平均延迟从15.21秒降至11.49秒，24.5%降低，GSM8K精度从96.89%降至96.82%，差距0.08个百分点，帖子称。

公司表示，合成与真实工作负载的提升差距反映了多个因素，包括合成输出重复性增加、合成测试中贪婪采样更简单以及实际输出更短，这些都稀释了每个译码步骤的固定成本。NVIDIA指出， GSM8K 输出中位数约为 310 令牌，而合成输出为固定 2,000-令牌，因此合成基准高估了其他工作负载的推测解码优势。

集成注意事项很重要

NVIDIA表示，三技术在概念上没有重叠：嗡嗡声和FP8 LM头量化降低了每个解码步骤的成本，而MTP则减少了步骤数。但公司也指出存在部署问题。当在线FP8 LM头量化和MTP同时启用时，草案模型必须与目标模型共享完整的LM头模块。NVIDIA表示，如果没有该接口，框架可能会默默回退到一个破碎配置，接受长度降至1.00，吞吐量低于基线。

该帖子的实际警告是，启动验证与基准测试数据同等重要。NVIDIA 表示，开发者应核实每次优化在发布时均已激活，而非仅凭后续性能推断配置状态。文章未提供除已发布指南外的下一个计划催化剂。