Hecateが753B GLM-5.3をGB300で約140トークン毎秒動作
20秒でわかる内容解説
chronarionは2026年11月1日、753BパラメータのGLM-5.3を1台のNVIDIA DGX Station GB300で動かすHecateを公開した。単一会話向けの高速推論と、BF16（16ビットの元モデル形式）に近い量子化を両立したことを示している。1台の装置で大型モデルを動かす技術者にとって、複数プロセッサを同時に使う構成と量子化の目安になる。
公開テストで示された138〜143 tok/sとKL0.0740
公開テストでは、コンカレンシー1（同時リクエスト数1）のデコードは138〜143 tok/sに収まった。デコードはトークンずつ生成する処理で、tok/sは1秒あたりの生成トークン数である。16Kから128Kのコンテキストでは116〜119 tok/sと安定し、長い文章でも速度が落ちにくい。
BF16モデルとのKLダイバージェンスは0.0740で、公開済み3bit EXL3量子化の0.1013を下回った。KLダイバージェンスは、量子化後の出力分布が元モデルからどれくらいずれるかを示す指標である。
測定はlocal-inference-labのllm-inference-bench v0.8.0で行い、30秒のデコード窓と2048トークン上限を使った。既定のKVプール（生成に必要な中間状態の記憶領域）は512Kトークンで、収まらないセルは省略されている。prefill（入力文章を最初に読み込む処理）は、27.6Kで1,930 tok/s、109Kで1,880 tok/sだった。
対応するデコードは133 tok/sと125 tok/sである。
既定のコンテキストは2×256Kで、単一会話は1Mトークンまで拡張できるが、1M設定ではデコードが約27%遅くなる。prefillは8K〜32Kで約2,080 tok/s、128Kで1,900 tok/sだった。短い入力でも固定の約1.7秒があり、1Kトークンでも初動は2.0秒である。
3プロセッサにMoE層を分割する構成
モデルはどの1つのメモリにも収まらないため、Hecateは3つのプロセッサへ分割する。 GB300は252 GBのHBM3eを持ち、RTX PRO 6000 Blackwellは96 GBのGDDR7をPCIe経由で備える。Grace CPUは72コアでLPDDR5Xに接続し、NVLink-C2Cで一貫性を持つ。
The model does not fit in any one memory of the machine.
モデルはどの1つのメモリにも収まらない。
MoEは、全層を毎回実行せず、入力ごとに必要なエキスパートだけ選ぶ仕組みである。Hecateはその選択結果に応じて、よく使うエキスパートをGB300のint4（4bitに圧縮した数値形式）、使用頻度が中程度のエキスパートをRTX、使われにくいエキスパートをGrace CPUに置く。RTXとGB300はP2P（GPU同士が直接データをやり取りする仕組み）を使えないため、固定メモリ経由で入出力をやり取りする。
実装はExLlamaV3とTabbyAPIを基盤に、カーネルとランタイムをパッチした。結果はDockerコンテナ1つでOpenAI互換API（OpenAIの形式に合わせた通信口）を公開する。重みはzai-org/GLM-5.3-BF16から導出し、公開済み3bit EXL3量子化とは別の経路で作られた。
速度向上の内訳と並列時の制約
速度向上の内訳を見ると、RTX PRO 6000をエキスパートの補助演算器として使う工夫が+22%、Grace CPUで使われにくいエキスパートを計算する工夫が+11%を占めた。さらに、1ステップ約1,900回のカーネル起動を1つのCUDAグラフにまとめた。CUDAグラフは多数のGPU処理をまとめて投入する仕組みで、投入待ちを19 msから0.6 msへ短縮し、+4.1%の改善になった。
よく使うエキスパートをint4で保持する工夫は+7%、注意層や共有エキスパートをint8（8bitに圧縮した数値形式）に落とす工夫は+6%を報告している。忠実度では、int4層はBF16からGPTQ（量子化後の誤差を補う手法）で再量子化し、量子化済みモデルの状態に合わせ層ごとに較正した。注意射影、共有エキスパート、密なMLP（密行列の多層パーセプトロン）、LM head（次の語を選ぶ最終層）はBF16からint8へ直接変換した。
一方、コンカレンシー4以上ではMTP（複数の候補をまとめて検証する推測実行）のドラフト数を減らし、8ではドラフトなしになる。16以上では高速経路を外れ、単一リクエストの速度も生成内容に依存して実行間で±10%動く。 作者は、異なる作者の量子化を比べる場合、約30%未満の差はノイズとして読むようにしている。
this KLD comparison is preliminary.
このKLD比較は暫定的である。
動作条件、ライセンス、再評価予定
動作にはDGX Station GB300、DGX OS 7またはUbuntu 24.04 arm64、NVIDIA driver 615以上、DockerとCDI（コンテナにGPUを割り当てる仕組み）設定、約360 GBのディスク、約120 GBの空きメモリが必要である。重みキャッシュ済みの起動は約4〜5分、初回起動はコンパイル込みで約9分とされる。
APIは既定で鍵なし、全インターフェースに公開されるため、ローカルだけならHECATE_PORT=127.0.0.1:8103で閉じる。GLM-5.3は推論内容をreasoning_content、回答をcontentで返す。
公開リポジトリには、ベンチマークの生ログ、KLDレポート、設定例、クレジット文書が含まれる。コードはMIT、ExLlamaV3部分はMIT、TabbyAPIはAGPL-3.0、重みはGLM-5.3 Licenseに従う。Dockerイメージは固定版のExLlamaV3 v1.6.5と未変更のTabbyAPIを使う。
作者は、NVFP4、MXFP4、int4なども含めた共通手順での再評価を今後の作業に挙げているが、2026年11月1日時点では未実施である。
用語の注釈
- MoE
- 最新LLMの多くが採用するMixture of Expertsの仕組みである。（参考：LLM の「Mixture of Experts (MoE)」を完全に理解する：なぜ ...）