2台のDGX Stationで7530億パラメータGLM-5.3を分散推論するvLLMの実測
25秒でわかる内容解説
NVIDIAは2026年11月14日、2台のDGX Stationを用いて7530億パラメータのGLM-5.3モデルをローカルで推論するチュートリアルを公開した。単一のGB300 GPUではメモリ容量が不足するため、RDMAで2台を接続し重みを分割する。コンカレンシー16で秒間607.8トークンの処理速度を記録し、大規模モデルのオンプレミス利用に新たな構成例を示した。
円換算は1ドル＝160円（2026年11月13日、欧州中央銀行の参考レート）による概算で、日本での販売価格とは異なる。
分散推論の構成とベンチマーク結果
本構成ではTensor Parallelism（テンソル並列化）により2つのGPUに重みと計算を分散し、単一エンドポイントでAPIを提供する。
モデルのNVFP4量子化版チェックポイントは約464GBに達し、GB300のHBM3eメモリ252GBを凌駕するためCPUオフロードなしで動作する。vLLMはFP8 KVキャッシュ（浮動小数点8ビット形式のコンテキスト記憶領域）でメモリ使用量を半減させ、マルチトークン予測（スペキュレイティブ・ディコーディングの一種）で4トークンをドラフトする。
プレフィックスキャッシュを有効化することで繰り返しプロンプトの処理を省略し、推論速度を最適化した。
下のグラフはコンカレンシーごとのスループット変化を示している。
実測ではコンカレンシー16で全体スループットが607.8 tok/sに達した。一方でコンカレンシー32に増やすと平均リクエストレイテンシが453.5秒まで上昇し、全体スループットは385.0 tok/sに低下した。
| 設定したコンカレンシー | 全体スループット (tok/s) | 平均リクエストレイテンシ (s) |
|---|---|---|
| 1 | 107.4 | 49.84 |
| 8 | 386.0 | 114.17 |
| 16 | 607.8 | 136.46 |
| 32 | 385.0 | 453.5 |
RDMA接続と起動プロセスの検証
2026年11月14日に公開された資料では、ConnectX-8 RDMAで2台のDGX Stationを直接接続する構成が示された。
Station AがAPIサーバーを、Station Bがヘッドレスのワーカーとして動作し、両機は同じLinux環境とDockerコンテナで同期する。図解ではStation AとBがRDMAで接続される構成が示されている。
NCCL（NVIDIA Collective Communications Library）ライブラリを用いてGPU間データ転送を行い、RoCE（RDMA over Converged Ethernet）上でGDRDMA（GPU直接RDMA）が有効化されている。重みは起動時に各GPUに約231GiBずつ読み込まれ、単独では応答できない状態となる。
コンテキスト長は98304トークンまで拡張可能で、GPUメモリ利用率を93%に設定している。起動スクリプトにはNCCLのバージョン固定やCUDAグラフのキャプチャサイズ指定（推論時の計算グラフを固定し再計算を省略する設定）が含まれており、v0.30.0のイメージが使用される。
コミュニティの評価とROI試算
ハッカーニュースのコミュニティでは、約20万ドル（約3,200万円）のハードウェアコストと各1.6kWの消費電力から家庭や小規模ビジネスでの導入には懐疑的な意見が多い。
一方でGB300のVRAM容量や分散推論の柔軟性、プロプライエタリAPIに依存しない利点を評価する声もある。価格対性能比を巡っては8xB6000やMI355Xとの比較が活発で、量子化モデルの提供形式の違いがスループットにどう影響するか関心が集まっている。
NVIDIAはDGXを10万ドル（約1,600万円）、GLM-5.3を140万ドル（約2億2,400万円）/百万トークンとした場合、最大利用率でROIが約7年と試算している。これは運用電力や電気代を無視した数値であり、常に最大利用率が維持されるとは限らないため、純粋なデータプライバシーや拡張性を重視する企業向けと見られる。
並列度を32以上に増減させた場合の最適構成や、8xB6000やMI355Xとの実際のスループット比較は公開されていない。家庭向けフロントティアモデルの代替案も確立されていないため、用途に応じた構成選定がまだ模索段階にある。
構成のカスタマイズと今後の課題
NVIDIAは最新の推奨構成をローカルAIレシピリポジトリで公開しており、ユーザーはコンテナ設定をカスタマイズできる。--max-model-lenや--gpu-memory-utilizationを調整する際に、一度に一つの変更を加えてテストするよう指示している。プレフィックスキャッシュを無効化した場合の性能低下も測定対象に含まれている。
今後は並列度をさらに増やした場合のネットワーク帯域幅限界や、NCCLのバージョン依存によるデッドロック回避策が課題となる。vLLMのバージョンアップとともにMTPのドラフト採用率やKVキャッシュの圧縮技術が向上すれば、単一マシンでの推論候補も増加する見込みだ。
通信にはcx8r0またはcx8r1のどちらかを選択でき、MTU 9000のジャンボフレームpingで接続が確認できる。2026年11月14日に公開されたチュートリアルは継続的に更新され、コンパイル設定やCUDAグラフのキャプチャサイズが最適化されている。