Qwen3.8-Flash-Next EXL3をWindowsの消費向けGPU2枚で動作させる独自パッチとベンチマーク
15秒でわかる内容解説
jiafeimao1990は2026年9月18日、ExLlamaV3 v1.5.0をベースにした独自パッチを用い、RTX 5060 Tiを2枚搭載したWindows PCでQwen3.8-Flash-Next EXL3モデルを動作させる実験結果をGitHubに公開した。
消費向けGPU2枚組の動作環境とベンチマーク結果
検証環境はWindows 11、Ryzen 9 9950X、128GB RAM、2枚のRTX 5060 Ti 16GBで構成されている。NVLinkは非搭載だ。モデルは4.05 bpwのQwen3.8-Flash-Next EXL3を用い、各GPUに14.5 GiBのGPU予算（KVキャッシュ含む）を割り当てた。
MoEアーキテクチャのルーティングされたエクスパートをGPUに156個（per layer）、CPUに356個（per layer）配置している。推論速度の計測では、DeepSeek Harnessのツールタスクで38.3から40.4 tok/sのデコード速度を記録した。8,037トークンのプリフィル処理では721 tok/sを達成している。
MTP（Multi-Token Predictionの略。複数のトークンを同時に予測して推論速度を向上させる手法）を動的に適用し、ドラフト上限を3に設定した。品質チェックでは10個の独立テストすべてがパスした。
エージェントタスクとして依存関係のないPython CLIを作成し、テストを実行して手動のスモークテストも完了させている。これは新しい推論エンジンではなく、既存のExLlamaV3上に追加されたプロファイラと起動プロファイルの集合体だ。 65,536トークンのコンテキスト長を維持しながら、CPUワーカーを16スレッドに設定している。
This is not a new inference engine. It is an independently developed patch, profiler, launch profile and benchmark suite built on ExLlamaV3 v1.5.0.
これは新しい推論エンジンではない。ExLlamaV3 v1.5.0上に構築された独自のパッチ、プロファイラ、起動プロファイル、ベンチマークスイートである。
ベンチマークスイートは機械可読形式で出力され、プロファイルの再生成もサポートしている。 頻度に基づいた静的エクスパート配置と、リクエスト間のホット・コールド配置の適応が、安定した高速化の主な要因となっている。
| 項目 | 値 |
|---|---|
| 検証OS | Windows 11 |
| CPU | Ryzen 9 9950X |
| GPU | RTX 5060 Ti 16GB x2 |
| コンテキスト長 | 65,536トークン |
| デコード速度 | 38.3-40.4 tok/s |
| プリフィル速度 | 721 tok/s |
手動パッチ適用とワークロードに応じた配置手法
同リポジトリは2026年9月18日に公開された。ワンクリックインストーラを採用せず、手動でGit cloneとPowerShellスクリプトによるパッチ適用を行う形式だ。ExLlamaV3 v1.5.0の正確なブランチをクローンし、apply-patch.ps1で修正を当てる。
TabbyAPIとllama-swapの統合パラメータも含まれている。ルーティングのトレースとワークロードプロファイルの生成が核となる。プロンプトの言語や種類によってエクスパートの出現頻度が変わるため、固定のプロファイルではなく測定結果から最適配置を導き出す。
analyze_moe_trace.pyでJSONL形式の出力を解析し、my-workload.jsonなどの設定ファイルを作成する。実験的な機能として、Peer-GPU間のエクスパート転送と隣接レイヤーの単一エクスパートプリフェッチが実装されている。ただしWindowsのWDDMドライバー環境ではPCIe経由の通信が遅いため、これらのパスはデフォルトで無効化され、環境変数でオプトインする必要がある。
失敗した実験もdocs/に記録されている。各レイヤーの容量割り当てと遷移プロファイルの分析ツールも付属する。起動スクリプトでは-DryRunオプションで構成ファイルの出力を事前確認できる。
GPUスプリットやCPUスレッド数をコマンドライン引数で調整可能だ。64Kコンテキストのデフォルトは2枚の16GBカード向けに最適化されており、他の環境では保守的な値から始める。
検証の進捗と環境ごとの性能制約
公開直後の2026年9月18日から検証が開始され、Windows環境における消費向けGPU2枚組の推論実用性が示された。コミュニティからのコメントは現時点で記録されていないが、リポジトリの制限事項に明確な境界線が引かれている。テストはテキスト生成とツール使用に限定され、ビジョン機能は無効化されている。
使用されたモデルは4.05 bpwの量子化パックで、128GB RAMが確保されている。RAMが少ない環境や、異なるGPU構成ではベンチマーク結果が変動する可能性がある。パッチはExLlamaV3 v1.5.0にピン留めされており、新しいタグへのリベースが必要になる場合がある。
安全策としてサーバーはデフォルトで127.0.0.1にバインドしている。ネットワークに公開する場合は認証を別途設定する必要がある。リポジトリ内にはモデル重み、APIキー、ユーザープロンプト、ホームディレクトリのパス、生ログが含まれていない。
ライセンスはMITで、ExLlamaV3の帰属はNOTICE.mdに記載されている。ハルネスの品質チェックは10/10でクリアし、HarnessタスクがCLIとそのテストを自動生成して実行した実績がある。Harnessのプリフィクス再利用率は71から97％を記録している。
正負両方のベンチマーク結果が制御されており、過大評価を防いでいる。WindowsユーザーはPCIe帯域の制約を前提に、プロファイル調整で性能を安定させられる。
外部検証の募集と今後の開発予定
資料に日本での発売や価格の記載はない。代わりに、2026年9月18日公開時点での今後の予定が明記されている。外部のハードウェア構成での検証結果の募集が行われており、Windows以外のOSやNVLink搭載環境での性能比較が期待されている。
既存のExLlamaV3 v1.5.0を基盤としているため、エコシステム全体との互換性は保たれる。TabbyAPIテンプレートとllama-swapのモデルブロックを組み合わせれば、既存のローカルAIサーバー環境に組み込みやすい。パラメータのカスタマイズが容易なため、異なるワークロードに対応したプロファイルの共有が活発になる可能性がある。
公式リリースでは、WDDM環境でのプリフェッチ最適化や、ビジョン機能の有効化が次の目標として示されている。パッチの安定化と新しいExLlamaV3ブランチへの同期は、公開から数週間以内に更新される見込みだ。消費向けGPUのメモリ制約を克服するExpert分割の手法は、他のMoEモデルへの応用も視野に入っている。
プロファイル生成スクリプトの改良により、手動調整の負担が軽減される予定だ。2026年9月18日に公開された実験は、ローカル推論のハードルを一段下げた実証データとして残る。