2枚のCMP 170HXで262KコンテキストのQwen3.8-Flash-Nextを稼働させるvLLMレシピ
35秒でわかる内容解説
開発者Morrowmakeが、2枚のNVIDIA CMP 170HXを用いて大規模言語モデルQwen3.8-Flash-Nextを262,144トークンの文脈で動かすvLLMレシピを公開した。1コマンドでDockerコンテナが起動し、OpenAI互換APIとして動作する。EXL3量子化と専用vLLMエンジンにより、128ギガバイトのVRAMで262Kコンテキストを維持する。1ユーザー時で毎秒152.8トークンの処理速度を記録した。ローカル環境で長文のドキュメント処理や複数ユーザー同時利用を想定する技術者にとって、コストを抑えた実用レベルの推論環境が構築できる。
専用vLLMエンジンとEXL3量子化による高速推論
2026年10月16日に公開されたレシピは、262,144トークンのコンテキスト長を維持しながらモデルを稼働させる。開発元のMorrowmakeは、EXL3形式で5.05 bpwに量子化された重みデータを使用する。この量子化は計算精度を維持しつつメモリ使用量を削減する手法だ。
vLLMエンジンに独自の最適化カーネルを組み込み、1ユーザー同時実行時で毎秒152.8トークンを処理する。8ユーザーが並列で利用する場合は合計で毎秒674.7トークンに達する。
冷たい初期状態からのプロンプト読み込みでは毎秒2,651トークンを記録した。KVキャッシュ領域は1,044,325トークンを確保できる。起動は./start.shスクリプトを実行するだけで完了する。コンテナイメージの取得とモデルのダウンロード、サーバー起動が自動で行われる。Docker Composeでの起動もサポートしており、クラッシュ時に最大3回の自動再起動を行う。
EXL3 kernels written for this card are on by default
同カード向けに書かれたEXL3カーネルがデフォルトで有効になっている
推論エンジンにはEXL3カーネルがデフォルトで有効化されている。これにより1ユーザー時の処理速度を18％高速化している。262,144トークンの境界テストやニアラー検索も全てパスした。
APIはOpenAI互換で、推論や思考、ツール呼び出しに対応する。構造化出力、コード生成、散文生成の各タスクでベンチマークが実施され、安定した出力速度が確認されている。20分間の連続マルチターン負荷テストでは3,257リクエストをGPUエラーなしで完了した。
CMP 170HXの2枚構成とPCIe x16リンクの重要性
使用されるNVIDIA CMP 170HXは元々暗号通貨マイニング用に設計されたカードだ。各カードが64ギガバイトのVRAMを公開し、2枚合わせると128ギガバイトのメモリ容量となる。モデルの重みはほぼ全てGPUに配置され、圧縮n-gramテーブルのみがSSDから読み込まれる。この構成により262Kコンテキストという長大な文脈をメモリに収めている。
2枚のカードをPCIe x16リンクで接続することが推奨される。ベンチマークは2026年10月15日に、各カードが74のSMストリームプロセッサを持つ環境で測定された。P2P通信を有効にするとカード間のデータ転送が高速化され、推論速度が安定する。ドライバーはバージョン580以降、測定には610.57.04が使用された。
| 項目 | 値 |
|---|---|
| GPU | 2× NVIDIA CMP 170HX |
| VRAM | 計128ギガバイト |
| リンク | PCIe Gen2 x16 |
| ドライバー | 580以降 |
| ディスク | 120ギガバイト以上 |
環境設定にはLinuxとDocker、NVIDIA Container Toolkitが必要だ。ホスト側の初期設定後は、モデルチェックポイント用にSSDに120ギガバイトの空き容量を確保すれば準備は完了する。tensor-parallel 2の構成で、各カードにルーティングされた専門モジュールが分散配置される。
MTP方式の推測デコーディングがデフォルトで有効化され、1ステップあたり3つのドラフトトークンを生成する。これによりトークン生成の効率がさらに向上する。
タスク別ベンチマークとカーネル制御の柔軟性
公開されたベンチマークデータは、構造化出力、コード生成、散文生成の3つのタスクで詳細な速度を記録している。2ユーザー時の1リクエストあたりの速度は、構造化出力が毎秒147.3トークン、コード生成が150.4トークン、散文生成が111.6トークンだった。ユーザー数が増えるにつれて1リクエストあたりの速度は低下するが、合計処理速度は上昇する。
8ユーザー同時実行時では、構造化出力の合計が毎秒588.2トークン、コード生成が674.7トークンに達した。散文生成は489.9トークンだった。構造化出力では応答が早期に終了する場合があり、その分合計値が抑えられている。品質評価ではHumanEvalで164中157件、GSM8Kで1,319中1,289件の正答率を記録した。
画像と動画の認識テストでも31件全てをパスしている。推論エンジンの切り替えオプションは13種類用意され、各カーネルのONとOFFを個別に制御できる。EXL3関連の6つのスイッチを無効化すると、1ユーザー時の処理速度は18％低下する。これは専用カーネルが性能に大きく寄与していることを示している。
PCIe x4環境の未測定データと今後の公開予定
現在測定が完了していないのは、PCIe x4リンクのカードでのパフォーマンスだ。リンク幅が狭い場合、カード間のアクティベーション交換に時間がかかるため、推論速度が低下する可能性がある。P2P対応ドライバーを適用しない場合、サーバーはP2P無効の状態で動作する。この場合も起動は可能だが、速度は最適値より遅くなる。
環境の更新は./start.sh updateコマンドで行える。git pullとイメージの更新、サーバーの再起動が一度に実行される。Docker Composeを使用する場合は、リポジトリを更新した後にdocker compose up -dを実行する。設定ファイルは上書きされず維持される。
262,144トークンのコンテキスト長と0.95のGPUメモリ占有率は固定値だ。他の値に変更する場合はserve.shを直接編集する必要がある。今後はPCIe x4環境のベンチマーク結果と、PLE配置をRAMやデバイスに変更した場合の比較データが公開される予定だ。