ニュース
NVIDIA GLM-5.3モデルがvLLMを使用して二つのDGXステーションでデプロイ
NVIDIAは、テンソル並列性とvLLMを使用して、二つのDGXステーションで753BパラメータGLM-5.3モデルの提供を実証しました。
翻訳記事です。 元の記事を読む.
NVIDIAは、大規模なGLM-5.3 NVFP4モデルをローカルで提供する方法を示しました。これは753億のパラメータを持つ量子化された専門家の混合(MoE)モデルであり、二つのDGXステーションで運用されます。このアプローチは、テンソル並列性とvLLMを活用して、二つのGB300 GPUの間でモデルの重みと計算を分割し、単一のマシンのメモリ制限を克服しました。
フロンティア規模モデルの課題
GLM-5.3モデルは、その重みを格納するために約464 GBのGPUメモリを必要とし、単一のGB300 GPUで利用可能な252 GBのHBM3eメモリを大きく超えています。スパースアクティベーションにもかかわらず、トークンごとに40億のパラメータのみを活性化することで計算を削減しますが、動的なトークンルーティングのためにすべてのモデルの重みにアクセスできる必要があります。
技術実装
これらの課題に対処するために、NVIDIAはConnectX-8 RDMAを介して二つのDGXステーションを接続し、テンソル並列性(TP=2)を可能にして、GPUの間でモデルのテンソルを分割しました。ステーションAはOpenAI互換APIエンドポイントをホストし、ステーションBはワーカーノードとして機能します。両方のステーションがリクエストを計算し、ステーションAが最終出力を返します。
デプロイメントはvLLMフレームワークを使用しており、マルチトークン予測、FP8 KVキャッシュストレージ、およびプレフィックスキャッシュをサポートして、同時負荷下でのスループットを最適化します。SPEED-Bench Codingデータセットのベンチマークでは、16の同時実行レベルで607.8トークン/秒のピークスループットが明らかになり、32の同時実行時には385.0トークン/秒に低下し、平均リクエストレイテンシは453.5秒でした。
前提条件と設定
この設定には、Linuxを実行する二つのGB300 DGXステーションが必要で、NVIDIAの「二つのDGXステーションを接続する」のプレイブックを使用して接続および検証されます。各ステーションは、モデルチェックポイントのために少なくとも464 GBの空きディスクスペースを持っている必要があり、vLLMコンテナイメージや一時ファイル用の追加スペースも必要です。デプロイメントには、Docker、NVIDIAコンテナツールキットおよび特定のデータセットとライセンスへのアクセスも必要です。
設定中、ユーザーはネットワークおよびハードウェア設定のための環境変数を定義し、ステーション間の適切な通信を保証します。その後、GLM-5.3モデルがGPU間に分配されるようにvLLMコンテナが起動され、効率的なローカル推論を可能にします。
AIインフラストラクチャに対する影響
このデモは、個々のマシンの容量を超えるフロンティア規模のモデルを処理するための分散GPUセットアップの必要性が高まっていることを示しています。テンソル並列性とvLLMのような高度なフレームワークを活用することで、組織はクラウドベースのソリューションに依存せずに、大規模なAIモデルをローカルに展開できます。