MoE推理揭示Grouped GEMM局限

MoE模型推理中的批次碎片化问题正在改变大型语言模型的生产部署方式，尤其当企业扩展自回归解码以支持实时应用时。根据Avi Chawla在2026年9月于X平台分享的关于Qwen-3.5-397B-A17B-FP8在Ironwood TPU上优化的见解，路由令牌到稀疏专家会以架构图未显现的方式碎片化批次，对吞吐量和延迟产生可测量影响。

关键要点

• MoE路由将令牌批次划分为大小可变的专家特定组，减少计算量但引入密集Transformer避免的碎片化。
• 在自回归解码典型的低并发水平下，大多数专家接收单行批次，将操作转向低效GEMV模式而非可重用矩阵乘法。
• 当分组GEMM无法利用行重用时，硬件特定自定义内核如权重预取可提供高达3.6倍加速，凸显形状感知执行策略的必要性。

MoE批次碎片化深入分析

在密集Transformer执行中，32个令牌行通过相同前馈权重在单次矩阵乘法中处理，最大化跨所有行的权重重用。MoE模型通过将每个令牌路由到有限专家子集改变了这一动态，将批次拆分为较小的专家特定子集，其大小取决于令牌选择。例如top-1路由器可能将8行分配给一个专家，3行给另一个，0行给第三个，11行给第四个，其余分布在其他专家上，迫使推理引擎重新分组令牌、执行单独投影、应用路由权重并恢复原始顺序。

分组GEMM及其局限

分组GEMM通过在加速器上一起调度多个专家矩阵乘法来解决启动开销。当每个活跃专家接收多行时，此方法表现良好，允许高效并行处理。但在仅一到三个并发请求的普通解码期间，选定专家很少重叠，导致大多数专家批次只有一行。这些单行情况类似于GEMV操作，行间权重重用消失，即使合并启动也限制分组GEMM的好处。

Qwen-3.5在Ironwood TPU上的例子清楚说明了问题：三个并发请求从512专家中进行top-10路由时，仅5%的选定专家跨请求重复。研究人员通过构建自定义内核将专家权重预取到快速VMEM并直接处理这些GEMV式操作，实现了并发一时的MoE块执行速度提升3.6倍。

业务影响与机遇

这些推理现实为提供基于专家批次形状自适应执行引擎的AI基础设施供应商创造了直接机会。在聊天机器人、编码助手或企业搜索中部署MoE模型的公司可通过采用形状感知内核而非通用分组GEMM路径降低服务成本。实施挑战包括运行时检测并发水平并在GEMM与流式策略间切换，但TPU VMEM预取等解决方案展示了实用路径。云推理市场领导者如Google Cloud TPU和新兴初创公司可通过保证可变负载下更低延迟的托管MoE端点实现货币化。围绕能效的监管考虑进一步激励此类进步，因为碎片化执行浪费加速器周期并增加碳足迹。

未来展望

展望未来，竞争格局将青睐预测跨工作负载路由重叠统计的硬件软件协同设计。预测显示将更广泛采用动态内核选择框架，实时分析专家批次分布，将行业实践从静态分组GEMM假设转向自适应策略。这一演进将降低小型组织盈利运行大型MoE模型的门槛，同时提高在多样并发条件下优先透明性能报告的道德部署实践标准。

常见问题

MoE推理中批次碎片化的原因是什么？

令牌路由到稀疏专家将原始批次拆分为较小的专家特定组，其大小取决于选择模式，与密集模型的均匀处理不同。

低并发如何影响MoE性能？

在少量并发请求下，专家很少共享令牌，产生 mostly 单行批次，减少权重重用并偏向GEMV而非高效矩阵乘法。

为什么自定义内核改善了Qwen在TPU上的性能？

将权重预取到快速内存允许直接处理单行操作，在分组GEMM无法利用并行性时提供3.6倍加速。

这些MoE挑战带来什么商业机会？

提供商可提供根据批次形状切换执行策略的自适应服务平台，降低生产LLM部署的成本并改善延迟。