Moonshot AI的Kimi K3.1 Pro在AMD Instinct MI355X GPU上部署

Moonshot AI宣布其最新的多模态AI模型Kimi K3.1 Pro已在AMD Instinct MI355X GPU上部署。该模型具有2.8万亿个总参数和104亿个激活参数，旨在处理具有一百万令牌上下文窗口的复杂AI任务。此部署利用了AMD的ATOM推理引擎和vLLM，以优化性能和可扩展性。

Kimi K3.1 Pro的主要特点

Kimi K3.1 Pro保留了其前身Kimi K3的混合架构，配备69 Kimi Delta Attention (KDA) 层和24潜存注意层。它为每个潜存注意层引入了稀疏索引器，使得每个查询可以选择2,048个历史上下文令牌。该模型采用896-专家混合专家(MoE)架构，在每个令牌上激活16个专家，并使用MXFP4量化感知训练以提高效率。

该模型支持文本和图像输入，配备V2视觉编码器的MoonViT，包含401百万个参数。此外，Kimi K3.1 Pro包含一个DSpark推测解码草案，能够通过与主解码过程并行提出草案令牌来加速令牌生成。

在AMD Instinct MI355X GPU上的部署

AMD的ATOM推理引擎为Kimi K3.1 Pro在八个MI355X GPU上提供动力，利用张量并行性实现高效执行。发布的MXFP4检查点在不转换的情况下加载，系统同时支持长上下文和低延迟交互工作负载。在启动过程中，内存使用峰值约为每个GPU 199 GB，提供了288 GB的可用内存，使得单个一百万令牌请求可以适应于一个节点。

ATOM优化包括对注意和稠密层的FP8再量化、稀疏注意元数据处理以及解码上下文并行处理以支持并发的长上下文请求。同时，vLLM的解码路径根据AMD的内部基准测试将令牌生成延迟减少了27%。

性能与准确性

Kimi K3.1 Pro在Moonshot AI的Kimi Vendor Verifier基准测试中实现了高准确性，在OCRBench上得分为0.871，而在工具调用JSON架构验证的最大推理努力下得分为0.991。这些结果凸显了模型在处理复杂推理和多模态任务方面的强大性能。

Moonshot AI在AMD Instinct GPU上部署Kimi K3.1 Pro，强调了AMD的AI硬件和软件生态系统的可扩展性和效率，为研究和工业中的先进AI应用铺平了道路。