Kimi K3.1 Pro от Moonshot AI развернут на AMD Instinct MI355X GPU

Moonshot AI объявила о развертывании своей последней мультимодальной AI модели Kimi K3.1 Pro на AMD Instinct MI355X GPU. Эта модель имеет 2.8 триллионов общих параметров и 104 миллиарда активированных параметров, и предназначена для обработки сложных AI задач с окном контекста на миллион токенов. Это развертывание использует движок вывода AMD ATOM и vLLM для оптимизированной производительности и масштабируемости.

Ключевые особенности Kimi K3.1 Pro

Kimi K3.1 Pro сохраняет гибридную архитектуру своего предшественника Kimi K3 с 69 слоями Kimi Delta Attention (KDA) и 24 слоями латентного внимания. Он вводит разреженный индексатор в каждый слой латентного внимания, что позволяет выбирать 2,048 токенов исторического контекста на запрос. Модель работает на архитектуре смешанной экспертиз 896 (MoE), где 16 экспертов активируется на токен, и использует обучении с учетом квантования MXFP4 для повышения эффективности.

Модель поддерживает как текстовые, так и визуальные входы, с визуальным кодером MoonViT-V2, состоящим из 401 миллионов параметров. Дополнительно Kimi K3.1 Pro включает черновик спекулятивного декодирования DSpark, который ускоряет генерацию токенов, предлагая черновые токены параллельно с основным процессом декодирования.

Развертывание на AMD Instinct MI355X GPU

Движок вывода AMD ATOM управляет Kimi K3.1 Pro на восьми MI355X GPU, используя тензорную параллельность для эффективного выполнения. Выпущенная контрольная точка MXFP4 загружается без преобразования, а система поддерживает как долгосрочные контексты, так и интерактивные рабочие нагрузки с низкой задержкой. При запуске использование памяти достигает примерно 199 ГБ на GPU из доступных 288 ГБ, что позволяет одной запросу на миллион токенов разместиться на одном узле.

Оптимизации ATOM включают повторную квантовку FP8 для слоев внимания и плотных слоев, обработку метаданных разреженного внимания и параллельность контекста декодирования для одновременных долгосрочных запросов. Тем временем, путь декодирования vLLM снижает задержку генерации токенов на 27%, согласно внутренним тестам AMD.

Производительность и точность

Kimi K3.1 Pro достиг высокой точности на бенчмарках Kimi Vendor Verifier от Moonshot AI, набрав 0.871 на OCRBench и 0.991 на валидации схемы JSON для вызова инструментов при максимальных усилиях размышления. Эти результаты подчеркивают устойчивую производительность модели в обработке сложных задач рассуждения и мультимодальных задач.

Развертывание Kimi K3.1 Pro от Moonshot AI на AMD Instinct GPU подчеркивает масштабируемость и эффективность аппаратного и программного обеспечения AI от AMD, открывая путь для передовых AI приложений как в исследовательской, так и в производственной области.