Kimi K3.1 Pro da Moonshot AI Implantado em GPUs AMD Instinct MI355X

A Moonshot AI anunciou a implantação de seu mais recente modelo de IA multimodal, Kimi K3.1 Pro, em GPUs AMD Instinct MI355X. O modelo, que possui 2.8 trilhões de parâmetros totais e 104 bilhões de parâmetros ativados, foi projetado para lidar com tarefas de IA complexas em uma janela de contexto de um milhão de tokens. Esta implantação aproveita o motor de inferência ATOM da AMD e vLLM para desempenho e escalabilidade otimizados.

Principais características do Kimi K3.1 Pro

Kimi K3.1 Pro mantém a arquitetura híbrida de seu antecessor, Kimi K3, com camadas 69 Kimi Delta Attention (KDA) e camadas 24 de atenção latente. Ele introduz um indexador esparso em cada camada de atenção latente, permitindo a seleção de 2,048 tokens de contexto histórico por consulta. O modelo opera com uma arquitetura de mistura de especialistas (MoE) de 896 especialistas, onde 16 especialistas são ativados por token, e utiliza treinamento consciente de quantização MXFP4 para eficiência.

O modelo suporta entradas de texto e imagem, com um codificador de visão MoonViT-V2 composto por 401 milhões de parâmetros. Além disso, Kimi K3.1 Pro inclui um rascunho de decodificação especulativa DSpark, que acelera a geração de tokens propondo tokens de rascunho em paralelo com o processo principal de decodificação.

Implantação em GPUs AMD Instinct MI355X

O motor de inferência ATOM da AMD impulsiona o Kimi K3.1 Pro em oito GPUs MI355X, utilizando paralelismo de tensores para execução eficiente. O ponto de verificação MXFP4 liberado é carregado sem conversão, e o sistema suporta cargas de trabalho interativas de longo contexto e baixa latência. Durante a inicialização, o uso de memória atinge aproximadamente 199 GB por GPU dos disponíveis 288 GB, permitindo que um único pedido de um milhão de tokens se encaixe em um nó.

As otimizações do ATOM incluem re-quantização FP8 para camadas de atenção e densas, manipulação de metadados de atenção esparsa e paralelismo de contexto de decodificação para requisições de longo contexto simultâneas. Enquanto isso, o caminho de decodificação do vLLM reduz a latência de geração de tokens em 27%, de acordo com os benchmarks internos da AMD.

Desempenho e Precisão

Kimi K3.1 Pro alcançou alta precisão nos benchmarks do Verificador de Fornecedor Kimi da Moonshot AI, marcando 0.871 no OCRBench e 0.991 na validação do esquema JSON de chamada de ferramenta com esforço máximo de raciocínio. Esses resultados destacam o desempenho robusto do modelo na manipulação de raciocínio complexo e tarefas multimodais.

A implantação do Kimi K3.1 Pro pela Moonshot AI em GPUs AMD Instinct sublinha a escalabilidade e eficiência do ecossistema de hardware e software de IA da AMD, abrindo caminho para aplicações avançadas de IA tanto na pesquisa quanto na indústria.