Together AI, 다형 추론 및 Together 컴파일러 공개

Together AI는 오픈 소스 모델, 다양한 아키텍처 및 동적 작업 부하에 대한 빠르게 진화하는 환경에 적응하도록 설계된 AI 추론의 새로운 접근 방식인 다형 추론을 발표했습니다. 이 회사는 또한 추론 성능의 지속적인 최적화를 가능하게 하는 주요 도구인 Together 컴파일러를 소개했습니다.

다형 추론이란 무엇인가요?

"여러 형태"를 뜻하는 그리스어에서 유래한 다형 추론은 전통적인 정적 추론 패러다임에서의 전환을 나타냅니다. 특정 조건에 최적화된 고정된 구성에 의존하는 정적 추론과 달리, 다형 추론은 모델 아키텍처, 트래픽 패턴 및 하드웨어 플랫폼의 변화에 동적으로 적응합니다. Together AI는 이 변화를 주도하는 몇 가지 산업 트렌드를 강조했습니다. 다음과 같은 사항들이 포함됩니다:

• 마지막 3개월 동안 발표된 모델에 OpenRouter 트래픽의 80% 비율이 증가하는 오픈 소스 모델 출시에 대한 속도가 높아지는 것입니다.
• 모델 아키텍처의 다양성이 증가하고 있으며, 상위 열 개의 오픈 소스 모델 모두 고유한 디자인을 사용하고 있습니다.
• 사용자 행동, 제품 변화 및 후속 훈련 최적화에 의해 영향을 받는 트래픽 형상이 신속히 변화합니다.
• NVIDIA B200에서 GB300 GPU로의 전환 및 Vera Rubin 배치의 출현과 같은 하드웨어의 빠른 발전입니다.

회사는 폐쇄형 모델, 전통적인 트랜스포머 아키텍처 및 현대의 생산 환경 요구를 충족하지 못하는 경우가 많았던 정적 구성에 의존했던 기존의 정적 추론과 다형 추론을 대조합니다.

Together 컴파일러 소개

다형 추론 이니셔티브의 일환으로 Together AI는 지속적인 컴파일을 통해 추론 작업 부하를 최적화하도록 설계된 AI 기반 도구인 Together 컴파일러를 공개했습니다. 이 컴파일러는 전통적인 GPU 최적화 문제를 자율 탐색 문제로 재구성하여 AI 에이전트가 다양한 작업에 대한 GPU 코드를 반복적으로 재작성하고 개선할 수 있도록 합니다.

Together AI에 따르면, Together 컴파일러는 상당한 성능 향상 결과를 제공합니다. 기업 보고 테스트에서, 이 컴파일러는 수기 메가 커널 속도의 최대 1.7 배속을 달성했으며, NVIDIA H100 및 B200 GPU에서 Llama 1B 모델에 대해 초당 2,100 개의 토큰을 처리했습니다. 이 컴파일러는 기존 에이전트 기반 시스템에 비해 252 배의 최적화 실험을 가능하게 하여 24 시간 내에 배포 가능한 최적화를 생성합니다.

Together 컴파일러의 실제 응용 예는 더 빠른 배포 시간과 감소된 대기 시간을 포함합니다. 예를 들어, 컴파일러를 사용한 음성 에이전트 배포는 NVIDIA B200 GPU에서 281 밀리초에서 H100 GPU에서 77 밀리초로 첫 64 토큰 생성 시간을 줄였으며, 3.6 배 개선을 목표로 하고 있습니다. 또한 대화형 AI 회사인 Phonic은 Phonic-1 모델의 최초 음성 생성 시간 중간값이 거의 50% 감소했다고 보고했습니다.

AI 추론에 대한 함의

Together AI의 다형 추론 및 Together 컴파일러는 수동 조정 없이 다양한 빠르게 변화하는 조건에 적응하는 것과 같은 AI 추론 생태계의 중대한 문제를 해결합니다. AI 에이전트를 활용하여 추론 성능을 최적화함으로써 이 회사는 생산 환경에서 배포되는 오픈 소스 AI 모델을 위한 확장 가능하고 효율적인 솔루션을 제공하는 것을 목표로 하고 있습니다.

매일 수조 개의 토큰이 컴파일러 최적화된 추론을 통해 제공되면서, Together AI는 오픈 소스 AI 커뮤니티를 위한 추론 인프라를 발전시키는 선두주자로 자리매김하고 있습니다.