Together AI, 연속 AI 추론 최적화를 위한 Together Compiler 공개

Together AI는 AI 추론 작업을 지속적으로 최적화하기 위해 설계된 혁신적인 시스템 Together Compiler (TKCC)의 출시를 발표했습니다. 이 시스템은 2026-11-04에 도입되어, 다양한 모델, 하드웨어 플랫폼 및 트래픽 패턴에 걸쳐 AI 작업의 동적 특성으로 인해 발생하는 문제를 해결하는 것을 목표로 합니다.

AI 추론의 변동성 해결

AI 추론 작업은 점점 더 복잡해지고 있으며, Together AI는 매일 수조 개의 토큰을 수천 개의 고객에게 제공하고 있습니다. 이러한 작업은 배치 크기, 시퀀스 길이, 희소성 및 기타 요인에 따라 상당히 다양합니다. 또한, 하드웨어 환경은 매우 단편화되어 있으며, NVIDIA H100, B200 및 Groq와 같은 플랫폼은 서로 다른 최적화 전략을 필요로 합니다. Together Compiler는 정적 규칙이나 수동 조정에 의존하지 않고 이러한 다양한 조건에 적응하기 위해 에이전트 기반 최적화를 활용합니다.

지속적인 엔진 및 실험 처리량

TKCC는 최적화 중 반복된 엔진 시작이 필요 없는 '지속적인 엔진'을 도입합니다. 기존 시스템은 설정하는 데 최대 467 초가 필요하지만, TKCC는 이를 단 9 초로 단축합니다. 이 혁신을 통해 기본 에이전트 시스템과 비교하여 252x의 실험 처리량 증가를 가능하게 합니다. TKCC 내의 에이전트는 메시지 보드를 통해 최적화 제안을 공유하여 지속적인 테스트를 보장하고 GPU 유휴 시간을 최소화합니다.

성능 벤치마크

테스트에서 TKCC는 Kimi K3, GLM 5.3, MiniMax M3.1-Flash 및 DeepSeek v4.1-Flash와 같은 여러 오픈 소스 모델에서 최대 2.6x의 초당 토큰(TPS)을 달성했습니다. MiniMax M3.1-Flash에서 1111 TPS, DeepSeek v4.1-Flash에서 1205 TPS를 기록하며 SemiAnalysis InferenceX 벤치마크에서 새로운 기록을 세웠습니다. 또한 TKCC는 Llama 1B 배치 크기 1 설정에서 오픈 소스 메가 커널을 1.7x로 초월했습니다.

트래픽 드리프트에 적응

Together Compiler는 변화하는 사용자 행동을 처리할 수 있도록 설계되었습니다. 예를 들어, 새 모델 출시 두 주 후 프로프트 길이가 80% 증가했으며, 일부 국가에서는 평균 97,000 토큰을 프로프트당 사용하는 반면, 다른 국가에서는 70,000가 관찰되었습니다. TKCC는 이러한 변화에 동적으로 조정하여 고객 코드 변경 없이 최적의 성능을 보장합니다.

다양한 응용

언어 모델 추론을 넘어 TKCC는 기상 모델링, 편미분 방정식(PDE), 시계열 분석 및 생물학 등 다른 도메인에 일반화할 수 있는 능력을 입증했습니다. 이러한 다재다능함은 계산 작업 최적화에 대한 보편적인 도구로서의 잠재력을 강조합니다.

그 혁신적인 아키텍처와 중요한 성능 개선을 통해 Together Compiler는 AI 추론 최적화에 있어 큰 도약을 이루었으며, 다양한 용도에 걸쳐 AI 모델을 신속하고 효율적으로 배포할 수 있게 합니다.