Together AI, 지속적인 AI 추론 최적화를 위한 컴파일러 발표

Together AI는 AI 추론 작업을 동적으로 지속적으로 최적화하기 위한 시스템인 Together Compiler(TKCC)를 도입했습니다. 2026-11-04에 발표된 이 컴파일러는 고처리량 에이전트와 영구 엔진 기술을 활용하여 다양한 모델, 하드웨어 플랫폼 및 트래픽 패턴에 적응하여 여러 벤치마크에서 상당한 성능 향상을 달성합니다.

동적 AI 추론 작업 주소

AI 추론 작업은 점점 더 복잡해지고 있으며 수천 개의 모델, 하드웨어 플랫폼 및 트래픽 형태를 포괄합니다. Together AI는 자사 인프라가 매일 수조 개의 토큰을 수천 개의 고객에게 제공하고 있으며 각 고객은 배치 크기, 시퀀스 길이 및 관심 희소성과 같은 고유한 요구를 갖고 있음을 보고했습니다. 전통적인 수동 최적화 방법은 이러한 환경에서는 지속 가능하지 않다는 것이 입증되었습니다.

TKCC는 에이전트를 사용하여 GPU 코드를 재작성하고 추론 엔진을 최적화함으로써 이러한 문제를 해결합니다. 각 실험에 대해 긴 시간의 엔진 재시작이 필요한 전통적인 시스템과 달리 TKCC는 후보 최적화를 핫 리로드할 수 있는 영구 엔진을 사용합니다. 이 접근 방식은 GPU 유휴 시간을 최소화하고 기준 에이전트 시스템과 비교할 때 252 배의 실험 처리량을 증가시킵니다.

성능 벤치마크 및 성과

24 시간 이내에 TKCC는 Kimi K3, GLM 5.3, MiniMax M3.1-Flash 및 DeepSeek v4.1-Flash를 포함한 여러 오픈 소스 모델에서 1.3에서 3 배의 처리량 개선을 달성했습니다. 특히, TKCC는 MiniMax M3.1-Flash에서 1,111 토큰 매초(TPS) 및 DeepSeek v4.1-Flash에서 1,205 TPS에 도달하여 저지연 성능에 대한 SemiAnalysis의 InferenceX 벤치마크에서 최첨단 기록을 수립했습니다. 또한 TKCC는 Llama 1B 배치 크기 1 설정에서 오픈 소스 메가커널보다 1.7 배 더 우수했습니다.

이 시스템은 언어 모델 추론을 넘어 일반화되며 기상 모델링, 부분 미분 방정식(PDE), 시계열 분석 및 생물학과 같은 분야에서도 적용 가능성을 보여줍니다. Together AI는 지역 트래픽 패턴, 새로운 모델 출시에 포함된 변화하는 사용자 행동에 적응할 수 있는 컴파일러의 능력을 강조합니다.

혁신적인 아키텍처 및 최적화 전략

TKCC의 아키텍처는 여러 혁신을 통합합니다:

• 영구 엔진: 이러한 엔진은 반복적인 시작 프로세스를 제거하여 전체 설정 시간을 467 초에서 9 초로 줄입니다.
• 두 단계 최적화: 신속한 반복을 위한 "패스트 엔진"과 높은 정확도의 테스트를 위한 "느린 엔진"의 조합이 처리량과 측정 정확도 간의 균형을 맞춥니다.
• 맞춤 비용 모델: 이 모델은 하드웨어 사양, 마이크로 벤치마크 및 실제 트래픽 데이터에 따라 텐서 병렬 처리(TP) 및 전문가 병렬 처리(EP)와 같은 병렬 처리 전략을 선택합니다.

이러한 기능은 TKCC가 서비스 수준 계약(SLA) 요건 하에서 구성을 최적화하면서 불균형한 프롬프트 길이 및 MoE 전문가 불균형과 같은 데이터 종속 트래픽 특성을 수용할 수 있게 합니다.

실제 영향 및 미래 잠재력

Together AI의 고객인 Phonic은 TKCC를 사용하여 하룻밤 최적화를 진행한 후 Phonic-1 모델의 첫 번째 음성까지의 Median 시간이 거의 50% 감소했다고 보고했습니다. Together AI는 컴파일러가 이미 운영 중이며 추가 고객 노력이 필요 없이 매일 수조 개의 토큰을 제공하고 있다고 밝혔습니다.

동적 추론 작업의 과제를 확장 가능하고 적응력 있는 접근 방식으로 해결함으로써 TKCC는 AI 시스템 최적화의 중요한 발전을 나타냅니다. 신속하고 높은 충실도의 최적화를 제공할 수 있는 능력은 레이턴시 민감하고 계산 집약적인 환경에서 운영하는 조직에 필수적인 도구로 자리 잡습니다.