RTX 5080 16GBでQwen3.5-27Bを完全GPU載せしたベンチマークとエージェント環境
30秒でわかる内容解説
Hugging Faceフォーラムのwichita-cloudが、RTX 5080 16GB上でQwen3.5-27Bを4bit量化して完全にGPUメモリに収め、約50 tok/sの処理速度を記録した。従来の16GB環境ではシステムRAMを併用して15〜20 tok/s程度だったものを約3倍高速化した。PCでローカルAIを運用する技術者にとって、VRAMの限界を超えたモデルの最適配置方法と、Web検索や音声合成を備えたエージェント環境「local-agent-5080」の公開は実用的な指針となる。
16GBメモリに収まる27Bモデルの測定結果
2026年10月18日に公開されたベンチマークは、RTX 5080の16GB VRAM（GPU専用メモリ）にQwen3.5-27B IQ4_XSを完全に収めた結果を示す。32kトークンのコンテキスト長さで約50 tok/sを達成し、プロンプト読み込みは約1,650 tok/sに達した。余剰VRAMは約0.5 GB残る。
比較対象としてQwen3-14B Q4_K_MとQwen3-8B Q4_K_Mも測定された。14Bは40kコンテキストで約83 tok/s、8Bは32kコンテキストで約125 tok/sを記録した。8Bは余剰VRAMが8.2 GBと最も大きくなる。
測定環境はRTX 5080、Ryzen 9 9900X、32 GB RAMの構成だ。bin/bench.shスクリプトで約18kトークンのキャッシュなしプロンプトを用いたため、実際の会話での速度が反映されている。27Bモデルはマザーボードのビデオ出力にモニターを接続する必要がある。
| モデル | 速度 | VRAM余剰 |
|---|---|---|
| Qwen3.5-27B IQ4_XS | 32k/約50 tok/s | ~0.5 GB |
| Qwen3-14B Q4_K_M | 40k/約83 tok/s | 3.5 GB |
| Qwen3-8B Q4_K_M | 32k/約125 tok/s | 8.2 GB |
VRAM溢れ対策と統合エージェントの仕組み
16GBグラボで27Bモデルを動かす際、VRAMが数百MB溢れるとシステムRAMへデータが逃げる。この状態では速度が約6倍遅くなるが、従来のヘルスチェックは正常と表示するため見逃されやすい。公開された環境はコンソールでリアルタイム速度を計測し、遅延を警告する仕組みを搭載した。
モデルの他にWeb検索やファイル操作が可能なローカルエージェント「OpenClaw」が含まれる。Qwenモデルがツール呼び出しを行う形式に修正が施されている。長期記憶はCPUメモリ上のBGE-M3とreranker（再評価機）で管理し、VRAMは推論専用に確保する。
音声合成オプションとしてMITライセンスのChatterboxが選べる。10〜30秒の録音からボイスクローニングし、余剰のCPUコアで音声出力する。同意ステップと透かし機能も備える。webコンソールは最適な動作状態を判定する verdict を表示する。
Webコンソールからはモデルのダウンロードや切替、サンプリング設定が可能だ。ゲームモードでGPUを解放し、Restoreで検証もできる。人格や記憶を持たないブランク状態から始め、クラウドやサブスクリプションに依存しない。
コミュニティが求める複合指標と検証案
公開に対し、測定指標の追加を求める声が上がっている。Decode速度のみの比較では実用上の最適モデルが決められないためだ。
Your uncached-prompt measurement is helpful, but that full path could change which of the three models feels best to use.
キャッシュなしプロンプトの測定は参考になるが、そのフルパスでは三つのモデルのうちどれが最も使い勝手が良いかが変わる可能性がある。
個人エージェントの利用シーンでは、メモリ取得と音声有効時のトータルレイテンシが重要視される。質問から最初の有用な音声回答までの時間を計測し、全モデルで比較する実験が期待されている。コミュニティは、同じ小さな記憶質問セットを全モデルで実行し、取得コンテキストを固定してレイテンシと正答率を記録するよう求めている。
固定された取得コンテキストで同一の記憶質問を走らせ、レイテンシと正答率を記録する案も提示された。 uncachedプロンプトの速度は参考値だが、実際の運用では記憶検索と音声合成の重みが速度を左右する。
今後のベンチマークで、これらの複合指標がどう推移するかが続報として注目される。
未公開データと標準構成の確立予定
全モデルを対象としたメモリ取得・音声有効時のトータルレイテンシと正答率の比較データは、現時点で未公開だ。コミュニティは同じ検証枠組みでモデルを並走させ、実利用時の体感速度を数値化することを求めている。
GitHubリポジトリのDiscussionsには、他カードのベンチマーク結果や実際の用途投稿が募られている。MITライセンスで公開されている環境は、追加プラグインやカスタムプロンプトとの組み合わせで拡張可能だ。READMEのDisclaimerとResponsible Useを先に確認する必要がある。
2026年10月20日現在、RTX 5080 16GB搭載PCの価格や日本での販売開始日は資料に明記されていない。docs/EXPLORE.mdには試すべき実験ガイドが記載されており、公式ディスカッションでベンチマークの共有が促されている。
モデルの最適配置とエージェント連携の実測値が蓄積され次第、ローカルAI運用の標準的な構成が固まる見込みだ。
用語の注釈
- VRAM
- GPUメモリとも呼ばれ、画像やデータを保持・処理するための専用メモリ領域である。（参考：VRAM（GPUメモリ）とは？不足時の症状や使用量の確認方法 ...）