GLM-5.3-Flashを4枚CMP 170HXで動かすレシピとベンチマーク結果
30秒でわかる内容解説
Morrowmakeが公開したレシピにより、320BパラメータのMoEモデル「GLM-5.3-Flash」を4枚のNVIDIA CMP 170HXで動作させた。Ampere対応のvLLMフォークを使い、単一ユーザーで最大482.6トークン/秒、8ユーザー同時で最大943.7トークン/秒の推論速度を記録した。262,144トークンのコンテキストも維持しつつ、重みはW4A16量子化で動作させる。自作PCで大規模モデルをローカル推論したい技術者向けの実証結果だ。
TP4構成で482.6トークン/秒、PP4構成でプレフィル高速化
Morrowmakeは2026年10月17日、4枚のNVIDIA CMP 170HXでGLM-5.3-Flashを動作させるレシピを公開した。320BパラメータのMoEモデルは262,144トークンのコンテキストを持つ。ツール呼び出しや推論、画像処理に対応する。
重みはW4A16量子化され、KVキャッシュはフル精度で保存される。FP8やCPU、ディスクへのオフロードは行わない。ベンチマークは2026年10月16日に測定された。
The weights are W4A16 and nothing else is cut: the KV cache is full precision, there is no FP8 anywhere, and nothing is offloaded to CPU or disk.
重みはW4A16で他は一切削減していない。KVキャッシュはフル精度で、FP8は使わず、CPUやディスクへのオフロードもない。
PCIe x16リンクのTP4構成では、単一ユーザーで482.6トークン/秒を記録した。8ユーザー同時では943.7トークン/秒の速度だ。単一ユーザー時のコールドプレフィル速度は3,161トークン/秒となる。
KVプールは1,203,765トークンに設定される。構造化出力とコード生成はドラフターが良く効くため最速となる。散文は最も速度が落ちる。
| 項目 | TP4 | PP4 |
|---|---|---|
| 単一ユーザー速度 | 482.6 | 232.4 |
| 8ユーザー速度 | 943.7 | 664.1 |
| プレフィル速度 | 3161 | 7419 |
| KVプール | 1203765 | 2088960 |
Ampereカーネル追加とDockerコンテナによる簡易実行
既存のvLLMはスパースアテンションにHopper GPUを必要とする。CMP 170HXはAmpereアーキテクチャのため、MorrowmakeがAmpere対応のフォークを作成した。このフォークはsm_80のカーネルを追加し、高速化と再現性を高めた。
実行はDockerコンテナのみで提供され、ホストのPython環境を汚さずに済む。要件はLinux、NVIDIAドライバー580以降、Docker、約180GBのディスク容量だ。P2P通信にはcmpunlockerを用いたドライバービルドが推奨される。
./start.shスクリプトは一度の実行でコンテナpull、モデル取得、サーバー起動を行う。初回起動時はカーネルコンパイルに時間がかかるが、以降はキャッシュを再利用する。APIは127.0.0.1の8000番ポートでリスンする。
Docker Composeでも同等の運用が可能で、crash時は最大3回自動再起動する。環境変数設定で推論の強さをlow、high、maxから選べる。max_tokensは推論分と回答分の合計で設定する必要がある。
レイアウトの使い分けとDFlash2ドラフターのライセンス条件
レシピはTP4とPP4の2つのレイアウトを提供する。TP4はPCIe x16リンクに最適化され、1ユーザーあたりの応答速度が最速となる。一方PP4はx4リンクのカードや多数の並列ユーザーに適しており、プロンプトの読み込み速度はTP4の約2倍となる。
PP4構成ではKVプールも2,088,960トークンまで拡大する。8ユーザー同時の構造化出力速度はTP4で943.7トークン/秒、PP4で664.1トークン/秒だ。デフォルトのスペキュラティブドラフターにはDFlash2が採用される。
DFlash2は1ユーザー時で最大7トークン先読みする。8ユーザー同時時は最大3トークン先読みする。推論品質はTP4構成でHumanEvalが164中151、GSM8Kが1,319中1,286を達成した。
PP4の8ユーザー同時散文速度は469.2トークン/秒だ。2ユーザー同時の構造化出力速度はTP4で606.5トークン/秒、PP4で343.8トークン/秒となる。LAYOUT環境変数でtp4またはpp4を切り替えられる。
PCIe x4リンク未計測とDocker Composeによる更新方法
未計測の点として、PCIe x4リンクのカードにおけるPP4構成の実性能が挙げられる。また、DFlash2の商用ライセンスは別契約が必要であり、無償の利用範囲は研究と評価に限定される。./start.sh updateでリポジトリを最新化でき、.env設定は維持される。
Docker Composeでも同等の更新が可能だ。GLM-5.3は常に推論フィールドに回答前の思考を返す。max_tokensは推論分と回答分の合計で設定する必要がある。旧リリースはgitタグで管理され、イメージは退役する可能性がある。
2026年10月17日公開の1.8.0では、VLLM_GLM5系のスイッチ名が変更された。EXTRA_ARGSからmax_pixelsとmax_image_tokensが削除された。SPEC_Nの行はDFlash2採用により削除する必要がある。
4枚のNVIDIA CMP 170HXは各64 GiBのVRAMを公開する。チェックポイントはHugging Faceの特定のrevisionで固定される。カーネルコンパイルキャッシュは./cacheディレクトリに保存される。