2台DGX Sparkで309BパラメータMiMo-V2.6をTensorFoldで推論する
25秒でわかる内容解説
2026年10月21日、s1nc3ju1yが2台のNVIDIA DGX Sparkで309BパラメータのMiMo-V2.6-Flash-MOPDモデルを動かすレシピをGitHubに公開した。TensorFoldエンジンとNVFP4量子化を組み合わせた構成は、1Mコンテキスト窓と4スロット並列推論をサポートする。ローカル環境で大規模モデルを運用する技術者にとって、メモリ分散と推論速度のバランスを取る実用的な基準となる。
NVFP4量子化とFP8 KVキャッシュで組む2ノード構成
推論はGB10チップを搭載したDGX Sparkを2台使用し、ConnectX-7 200GbE RoCEで直接結線する。
モデルは309B総パラメータのうち15BのみがアクティブなMoEアーキテクチャを採用している。TensorFold v1.1.0エンジンが59個のパッチを適用し、NVFP4量子化で重みを圧縮する。FP8形式のKVキャッシュプールを4スロットで共有し、最大1Mトークンのコンテキスト窓を実現する。
ベンチマークは2026年10月20日に検証された。4スロット並列の構造化出力では103.64 tok/sを記録した。散文出力でも集計スループット78.27 tok/sを示す。
単一ストリーム時は46.15 tok/s程度になる。各ノードのモデル重みは82.79 GiBで、サービスメモリ使用率は82.50％前後に収まる。OpenAI互換APIを提供し、Hermes AgentやOpenWebUIから接続可能だ。
構成イメージは下の画像に示す。
起動スクリプトは両ノードのGPUスロットを自動検証し、83 GiBの重み読み込みとCUDA Graphsキャプチャを完了するとAPIを公開する。サービスメモリ上限はMemTotalの0.835倍に設定され、ホストOS用の4 GiBが独立して確保される。/v1/chat/completionsや/prometheus/metricsなどのエンドポイントも標準で利用可能だ。
1Mコンテキスト窓とスプリットKデコードの最適化
長いプロンプト読み込みではL2キャッシュを活用したウィンドウ処理が有効になる。32,768トークンのプロンプト読み込み速度は1,744.4 tok/sに達する。165,065トークンの冷間読み込みでも1,084.8 tok/sを記録し、単一パスより2.5倍高速化した。
推論時にはrowsが16以下のSplit-K FlashDecodingが適用され、低消費電力状態の回避に成功する。speculative decodingにはMTPドラフターとSuffixLookupコピードラフターが組み込まれる。4スロット並列時のTTFTは1,046 msだが、165kトークンのマルチターンセッションではプレフィックスキャッシュが99.995％の確率でヒットする。
キャッシュヒット時はTTFTが152.16秒から0.26秒に短縮される。ビット単位の正確性も100％維持されている。
ConnectX-7経由のノード間通信では、512 KiB以下の小サイズデータ転送に1回限りのRDMA Write all-gatherが採用された。これにより16 KiBのクロスノード転送が11 μsに短縮され、通信待ち時間の大幅削減に貢献する。
量子化設定による品質と速度のトレードオフ検証
重み量子化のDENSE設定を変えた比較テストが行われた。デフォルトのq4設定ではGSM8Kの正答率が98.0％を達成し、初出トークン一致率も100％だった。FP8設定にすると正答率は同等だが、トークン速度は40.95 tok/s前後に低下する。
bf16設定では速度が33.79 tok/sまで落ち込むが、品質は完全一致する。MTPドラフターは散文や構造化出力で高い採用率を示す。一方、組み込みのDFlashドラフターは純粋なコード生成には向くが、並列処理時のKVプール消費が大きい。
検証データはdocs/validationフォルダにアーカイブされ、公開された。
| 設定 | 速度(tok/s) | 正答率(%) |
|---|---|---|
| q4 | 46.15 | 98.0 |
| fp8 | 40.95 | 98.0 |
| bf16 | 33.79 | 100.0 |
MTPドラフターは1層のQ4 MTPとGPUクロスランクのTop-2ロジットマージンゲート、SuffixLookupコピードラフターを統合する。これにより散文やJSONツール呼び出しで高いスループットを達成している。q4設定のSQNRは21.31 dB、Cosine類似度は0.99618を記録している。FP8設定ではSQNRが31.53 dBに向上し、KLダイバージェンスは0.00257 natsに低下する。
単一ストリーム性能と次世代ドラフターの検証待ち
公開されたベンチマークはデフォルト設定と4スロット並列を基準に測定されている。単一ストリーム時の詳細な性能推移や、他の量子化設定におけるメモリ使用量の変化は明記されていない。DRAFTER=dflashモードでのコード生成最適化や、MTPドラフターの更なる採用率向上が次の課題となる。
TensorFoldエンジンのバージョンアップに伴い、追加パッチの適用方法が更新される可能性がある。レシピは2026年10月21日にGitHubで公開され、現在の設定で安定運用が可能だ。設定変更はscripts/config.shまたは環境変数で容易に上書き可能だ。
./start.sh実行後は~/.cache/tensorfold-mimo/logsに圧縮ログが保存され、最新10回分が保持される。両ノードは同一のプライベートIPv4サブネットに属し、FABRIC_PEER変数で直接接続IPを指定する。
用語の注釈
- NVFP4
- NVIDIA製の4ビット浮動小数点形式。モデルの重みを圧縮してメモリ使用量を抑え、Blackwell世代GPUで高速推論を実現する量子化規格である。（参考：NVFP4 (4ビット浮動小数点)とは？意味・使い方を解説 | AI PICKS）
- MoE
- 各リクエストごとに必要なパラメータのみを選択し、計算効率を高めるLLMのアーキテクチャである。（参考：LLM の「Mixture of Experts (MoE)」を完全に理解する：なぜ ...）