据@_avichawla称，低并发下MoE批次碎片化，需权重流式GEMV内核替代Grouped GEMM。

根据Jeff Dean在X平台发布的信息，谷歌正式向云端TPU客户推出第七代TPU（代号Ironwood）。新一代TPU在性能和能效方面大幅领先上一代产品，有助于企业级AI应用实现更快的模型训练和推理。Ironwood TPU特别适用于大规模生成式AI和深度学习场景，为采用谷歌云AI基础设施的企业带来显著竞争优势（来源：x.com/sundarpichai/status/1986463934543765973）。

根据Sundar Pichai在Twitter上的消息，谷歌宣布其第七代TPU Ironwood正式上线，较上一代TPU v5p性能提升10倍，较TPU v6e（Trillium）在训练和推理工作负载上单芯片性能提升超过4倍（来源：@sundarpichai）。该TPU已用于支持谷歌前沿AI模型（如Gemini）的训练与部署，并全面开放给谷歌云客户，为企业提供了高效可扩展的AI基础设施，助力先进机器学习和生成式AI落地应用，带来新的行业发展机遇。