Kimi K3.1 Pro de Moonshot AI implementado en GPUs AMD Instinct MI355X

Moonshot AI ha anunciado la implementación de su último modelo de IA multimodal, Kimi K3.1 Pro, en GPUs AMD Instinct MI355X. El modelo, que cuenta con 2.8 billones de parámetros totales y 104 mil millones de parámetros activados, está diseñado para manejar tareas complejas de IA con una ventana de contexto de un millón de tokens. Esta implementación aprovecha el motor de inferencia ATOM de AMD y vLLM para optimizar el rendimiento y la escalabilidad.

Características clave de Kimi K3.1 Pro

Kimi K3.1 Pro mantiene la arquitectura híbrida de su predecesor, Kimi K3, con capas 69 Kimi Delta Attention (KDA) y capas de atención latente 24. Introduce un indexador disperso en cada capa de atención latente, permitiendo la selección de 2,048 tokens de contexto histórico por consulta. El modelo opera con una arquitectura de mezcla de expertos 896, donde se activan 16 expertos por token, y utiliza MXFP4 entrenamiento consciente de cuantización para eficiencia.

El modelo soporta tanto entradas de texto como de imagen, con un codificador de visión MoonViT-V2 que comprende 401 millones de parámetros. Además, Kimi K3.1 Pro incluye un borrador de decodificación especulativa DSpark, que acelera la generación de tokens al proponer tokens de borrador en paralelo con el proceso de decodificación principal.

Implementación en GPUs AMD Instinct MI355X

El motor de inferencia ATOM de AMD alimenta Kimi K3.1 Pro en ocho GPUs MI355X, utilizando paralelismo de tensores para una ejecución eficiente. El punto de control MXFP4 lanzado se carga sin conversión, y el sistema soporta tanto cargas de trabajo de larga duración como interactivas de baja latencia. Durante el arranque, el uso de memoria alcanza aproximadamente 199 GB por GPU de los 288 GB disponibles, lo que permite que una solicitud de un millón de tokens quepa en un nodo.

Las optimizaciones de ATOM incluyen FP8 re-cuantificación para capas de atención y densas, manejo de metadatos de atención dispersa, y paralelismo de decodificación de contexto para solicitudes concurrentes de largo contexto. Mientras tanto, la ruta de decodificación de vLLM reduce la latencia de generación de tokens en 27%, según los benchmarks internos de AMD.

Rendimiento y precisión

Kimi K3.1 Pro alcanzó alta precisión en los benchmarks de Kimi Vendor Verifier de Moonshot AI, anotando 0.871 en OCRBench y 0.991 en validación de esquema JSON de llamada de herramienta con el máximo esfuerzo de razonamiento. Estos resultados destacan el robusto rendimiento del modelo en el manejo de razonamientos complejos y tareas multimodales.

La implementación de Kimi K3.1 Pro de Moonshot AI en GPUs AMD Instinct subraya la escalabilidad y eficiencia del ecosistema de hardware y software de IA de AMD, allanando el camino para aplicaciones avanzadas de IA tanto en investigación como en la industria.