뉴스
NVIDIA GLM-5.3 모델이 vLLM을 사용하여 두 DGX 스테이션에서 배포됨
NVIDIA는 텐서 병렬성과 vLLM을 사용하여 두 DGX 스테이션에서 753B -파라미터 GLM-5.3 모델을 제공하는 방법을 보여줍니다.
번역 기사입니다. 원문 기사 읽기.
NVIDIA는 NVFP4 모델을 로컬에서 제공하는 방법을 보여주었습니다. 이 모델은 753억 개의 파라미터를 가진 양자화 혼합 전문가(MoE) 모델로서 두 DGX 스테이션에서 실행됩니다. 이 접근법은 텐서 병렬성과 vLLM을 활용하여 두 개의 GB300 GPU 사이에서 모델의 가중치와 계산을 분할하여 단일 머신의 메모리 제한을 극복합니다.
프론티어 규모 모델의 도전 과제
GLM-5.3 모델은 가중치를 저장하기 위해 약 464 GB의 GPU 메모리를 필요로 하며, 이는 단일 GB300 GPU에서 사용할 수 있는 252 GB의 HBM3e 메모리를 훨씬 초과합니다. 40억 개의 파라미터만 활성화하여 계산을 줄이는 희소 활성화에도 불구하고, 동적 토큰 라우팅을 위해 모든 모델 가중치에 접근할 수 있어야 합니다.
기술 구현
이러한 도전 과제에 대처하기 위해 NVIDIA는 ConnectX-8 RDMA를 통해 두 DGX 스테이션을 연결하여 텐서 병렬성(TP=2)이 GPU 간에 모델 텐서를 나누도록 했습니다. 스테이션 A는 OpenAI 호환 API 엔드포인트를 호스팅하고, 스테이션 B는 워커 노드로 작동합니다. 두 스테이션 모두 모든 요청을 처리하고, 스테이션 A가 최종 출력을 반환합니다.
배포는 vLLM 프레임워크를 사용하여 여러 토큰 예측, FP8 KV 캐시 저장소, 그리고 동시 부하 하에서의 처리량 최적화를 위한 접두사 캐싱을 지원합니다. SPEED-Bench Coding 데이터 세트에 대한 벤치마크에서 16의 동시 수행 수준에서 초당 607.8 토큰의 최대 처리량이 밝혀졌고, 32의 동시 수행 시 385.0 토큰/초로 떨어지며, 평균 요청 레이턴시는 453.5 초로 나타났습니다.
전제 조건 및 설정
구성에는 리눅스를 실행하는 두 GB300 DGX 스테이션이 필요하며, NVIDIA의 "두 DGX 스테이션 연결" 플레이북을 사용하여 연결 및 검증됩니다. 각 스테이션은 모델 체크포인트를 위한 최소 464 GB의 여유 디스크 공간을 확보해야 하며, vLLM 컨테이너 이미지 및 임시 파일을 위한 추가 공간도 필요합니다. 배포에는 Docker, NVIDIA Container Toolkit 및 특정 데이터 세트와 라이센스에 대한 액세스도 필요합니다.
구성 중 사용자들은 네트워크 및 하드웨어 설정을 위한 환경 변수를 정의하여 스테이션 간의 적절한 통신을 보장합니다. 그런 다음 GLM-5.3 모델이 GPU 간에 분산될 수 있도록 vLLM 컨테이너가 실행되어 효율적인 로컬 추론이 가능하게 됩니다.
AI 인프라에 대한 시사점
이 데모는 개별 머신의 용량을 초과하는 프론티어 규모 모델을 다루기 위해 분산 GPU 설정의 필요성이 증가하고 있음을 강조합니다. 텐서 병렬성과 vLLM과 같은 고급 프레임워크를 활용함으로써 조직들은 클라우드 기반 솔루션에 의존하지 않고 대규모 AI 모델을 로컬에 배포할 수 있습니다. (GLM-5.3)