문샷 AI의 Kimi K3.1 Pro가 AMD Instinct MI355X GPU에 배포됨

문샷 AI는 최신 멀티모달 AI 모델인 Kimi K3.1 Pro를 AMD Instinct MI355X GPU에 배포했다고 발표했습니다. 이 모델은 2.8 조정 총 매개변수와 104억 개의 활성화된 매개변수를 특징으로 하며, 백만 토큰의 문맥 창을 통해 복잡한 AI 작업을 처리하도록 설계되었습니다. 이번 배포는 AMD의 ATOM 추론 엔진과 성능 최적화 및 확장성을 위한 vLLM을 활용합니다.

Kimi K3.1 Pro의 주요 기능

Kimi K3.1 Pro는 선행 모델인 Kimi K3의 하이브리드 아키텍처를 유지하며, 69 Kimi Delta Attention (KDA) 레이어와 24 잠재적 주의 레이어를 포함합니다. 각 잠재적 주의 레이어에 희소 인덱서를 도입하여, 쿼리당 역사적 문맥의 2,048 토큰을 선택할 수 있게 합니다. 이 모델은 896 전문가 혼합-전문가(MoE) 아키텍처로 운영되며, 토큰당 16 전문가가 활성화되고, 효율성을 위해 MXFP4 양자화 인지 훈련을 사용합니다.

이 모델은 텍스트 및 이미지 입력을 모두 지원하며, V2 비전 인코더로 구성된 MoonViT가 401 백만 개의 매개변수를 포함합니다. 추가로, Kimi K3.1 Pro는 주 추론 과정과 병행하여 초안 토큰을 제안하여 토큰 생성을 가속화하는 DSpark 추측-디코딩 초안을 포함합니다.

AMD Instinct MI355X GPU에 배포

AMD의 ATOM 추론 엔진은 효율적인 실행을 위해 텐서 병렬성을 활용하여 여덟 개의 MI355X GPU에서 Kimi K3.1 Pro에 전원을 공급합니다. 출시된 MXFP4 체크포인트는 변환 없이 로드되며, 시스템은 긴 문맥 및 저지연 대화형 작업 모두를 지원합니다. 시작 시, 메모리 사용량은 사용 가능한 288 GB 중 약 199 GB에서 정점에 도달하여 단일 백만 토큰 요청이 하나의 노드에 적합할 수 있게 합니다.

ATOM 최적화에는 주의 및 밀집 레이어에 대한 FP8 재양자화, 희소 주의 메타데이터 처리, 동시 긴 문맥 요청을 위한 디코드 문맥 병렬성이 포함됩니다. 한편, vLLM의 디코드 경로는 AMD의 내부 벤치마크에 따르면 토큰 생성 지연을 27% 줄입니다.

성능 및 정확성

Kimi K3.1 Pro는 문샷 AI의 Kimi 공급업체 검증기 벤치마크에서 높은 정확성을 달성하여 OCRBench에서 0.871 점수를, 최대 추론 노력으로 도구 호출 JSON 스키마 검증에서 0.991 점수를 기록했습니다. 이러한 결과는 복잡한 추론 및 멀티모달 작업을 처리하는 모델의 강력한 성능을 강조합니다.

문샷 AI의 Kimi K3.1 Pro가 AMD Instinct GPU에 배포된 것은 AMD의 AI 하드웨어 및 소프트웨어 생태계의 확장성과 효율성을 강조하며, 연구 및 산업 분야에서 고급 AI 애플리케이션을 위한 길을 열어줍니다.