xormalが公開したV100向けvLLMスタック、262KコンテキストとClef判断モデルを同一GPUで運用
25秒でわかる内容解説
GitHubユーザーxormalが2026年10月12日、NVIDIA V100専用vLLMフォークvllm-sm70を公開した。2枚の32GBメモリ搭載カードでQwen3.8-27Bモデルを262,144トークンの長文コンテキストで推論でき、同じ重みでCloudflareのClef判断モデルも同時に走らせる。自作PCや中古GPUを愛用する日本の技術者にとって、現行のハイエンドカードがなくても大規模モデルを本番環境で動かす道が開ける。
本番環境向けVolta最適化スタックの公開
GitHubユーザーxormalが2026年10月12日、NVIDIA V100専用vLLMフォークvllm-sm70を公開した。2枚の32GBメモリ搭載カードでQwen3.8-27Bモデルを262,144トークンの長文コンテキストで推論でき、同じ重みでCloudflareのClef判断モデルも同時に走らせる。自作PCや中古GPUを愛用する日本の技術者にとって、現行のハイエンドカードがなくても大規模モデルを本番環境で動かす道が開ける。
The production vLLM stack for NVIDIA Volta (V100, sm_70).
NVIDIA Volta（V100、sm_70）向けの生産環境用vLLMスタックである
本スタックは1CatAIが開発したVolta向けフォーク1Cat-vLLMを基盤に、sm70ブランチとして整備された。最新のFlashAttentionはsm_80以降を対象とするため、V100（sm_70）では標準のvLLMが低速あるいは起動しない場合があった。これを解消するため、CUTLASSを用いたFMHAプリフィルやint8 KVキャッシュによるページドデコード、GPTQ-int8 GEMVカーネルを独自に実装した。
環境構築にはCUDA 12.8ツールキットとPython 3.12が必要だ。ビルドには約1時間、モデルのダウンロードで35GB、ビルド成果物で2GBのストレージを要する。メモリ利用計画が固定されているため、サーバー起動時に2枚のGPUは専有する必要がある。
単一ストリームのデコード速度は、自然テキストでMTP（Multi-Token Prediction）k=3併用時最大63.8トークン毎秒を記録した。250KトークンのプリフィルにはNVLink接続で約186秒から215秒を要する。OpenAI互換APIとしてテキスト、画像、動画、ツール呼び出しに対応する。
ハイブリッドモデル対応とカーネル実装
Qwen3.8-27BはGated DeltaNetとフルアテンションを併用するハイブリッドモデルだ。従来のvLLMではVoltaアーキテクチャ向けに最適化されたGEMMパスやアテンションカーネルが不足しており、262Kトークンのコンテキストを確保するのが難しかった。
開発陣はint16のGated DeltaNet状態プールと分割KVプールを実装し、64GBの合計GPUメモリでブロックサイズを揃えた。また、モデル独自のMTPヘッドとn-gramアシストを併用する推論機構も組み込まれた。これにより、従来のV100環境でも現行モデルに迫る処理速度が実現した。
最初の起動時はカーネルのJIT（Just-In-Time）コンパイルに15から30分を要するが、一度キャッシュされれば次回から数分で起動する。環境変数で98項目の設定を制御可能で、NVLinkトポロジーに応じてfp16またはint12の全Reduce方式を自動選択する。
稼働検証とClef判断モデルの統合運用
同リポジトリには現時点で公式なコメントは寄せられていないが、実稼働トラフィックを2026年10月12日から受け始めたコードそのものが公開された。10 Clefレコードと6チャットを並行処理し、8回の2画像ストーム後に243Kトークンのプロンプトを投入しても失敗しなかった検証データが示す安定性は、個人サーバー運用の参考になる。
同重みでCloudflareのClef判断モデルを実行できる点が特筆される。Clefのロウアランク重み補正をint8 GEMMカーネル内に組み込み、Chatリクエストと並列バッチ処理する。Clefの最大コンテキストは16,384トークンに制限されている。GPUメモリは追加で0.29GBと0.12GBを消費するのみだ。
| 項目 | 値 |
|---|---|
| 対応GPU | 2× NVIDIA V100 32 GB |
| 専用メモリ | 2× 32 GB（専有） |
| 推論コンテキスト | 262,144トークン |
| Clef最大コンテキスト | 16,384トークン |
| 単一ストリーム速度 | 最大63.8 tok/s |
長期プロンプトでの/v1/completionsとecho、logprobs併用時、全語彙のロジットがチャンクごとに割り当てられるためメモリが枯渇する。信頼できないクライアント向けにプロンプトログプロブを公開する場合は注意が必要になる。
Volta限定の動作条件と今後の整備予定
Voltaアーキテクチャのみ対応しており、他のGPU世代での動作検証は未実施だ。MTP併用時のデコードログプロブはGPUメモリレイアウトに依存し、1e-3レベルで値が変動する。Clefのネイティブヘッドは32,768トークンまで検証済みだが、16K超での挙動は評価されていない。
日本語圏の技術者向けには、CUDA 12.8に対応するドライバー（580系）とgcc 11.4以上の環境が用意されている。オフライン環境でもGitHubの固定リビジョンをローカルに指すことで依存パッケージをビルド可能だ。
2026年10月12日に公開された本スタックは、現在も本番環境で運用され続けている。今後はsm70カーネルライブラリのドキュメントとベンチマークツールが整備され、環境変数の詳細な検証ガイドが公開される予定だ。