GTX 1070向け35BパラメータMoEモデル推論エンジン公開
20秒でわかる内容解説
技術者Hannes Kapschが8GB VRAMの旧世代GPU向けカスタム推論エンジンをGitHubに公開した。22GBの重みをVRAMとシステムメモリで分割し、35BパラメータのMoEモデルを約25〜30トークン／秒で動作させる。既存のローカルAIツールが直接接続できるため、手持ちの古めなグラフィックボードを再活用できる。
VRAMとシステムメモリで重みを分割する設計
本エンジンは Ornith-1.5-35B-A3B モデルを専用ターゲットとしている。このモデルは35Bパラメータのうち各トークン生成に約3Bのみを使用するMoE（Mixture of Experts。入力ごとに必要な専門モデルのみを選択するアーキテクチャ）を採用している。各層は256のエキスパートを持ち、頻繁に利用されるものはVRAMに、それらはシステムRAMに、残りはSSDに配置される。
GPUはPCIe経由でRAMから直接データを読み取るため、重み全体をVRAMに収める必要がない。4bit浮動小数点形式の重み（NVFP4）は行列演算カーネル内で直接復号され、メモリ帯域の節約に成功している。固定サイズ状態の線形アテンションを採用し、最大184kトークンのコンテキスト長を維持できる。
VRAMに最も使われるエキスパートを保持し、システムRAMには最大13.5GBまでピンメモリ領域を確保する。SSDに格納された残りのエキスパートは、予測アルゴリズムによって次のレイヤー用として先読みされる。NVFP4統合カーネルは重みをfp16に展開せずにレジスタ内で復号するため、メモリ読み取り回数を削減できる。8GBのVRAMで22GBのモデル重みを効率的に管理できる仕組みだ。
Pascal世代の制約をCUDAグラフとカーネル最適化で克服
PascalアーキテクチャのGTX 1070にはテンサーコアやFP4ハードウェアサポートがない。WindowsのWDDMドライバーではCUDAストリームの並列処理が限られるため、各デコードステップをCUDAグラフとして記録し再生する方式を採用した。 コンテキスト長は最大184kトークンまで拡張可能で、30層が固定サイズ状態の線形アテンションを使用している。
It runs the model on a single GTX 1070 at about 25–30 tokens per second
GTX 1070単体で約25〜30トークン／秒の推論速度を実現する。
推論品質は exact と fast、turbo の3モードから選べ、turboモードでは速度が約42％向上する。インストールには約51GBの空き容量と32GBのシステムRAMを必要とする。16GBのRAMでも起動可能だが、コマンドラインオプションで割り当て容量を調整する。
Windows環境ではCUDAストリームのオーバーラップが限られるため、各デコードステップをCUDAグラフとしてキャプチャし、再生して処理速度を安定させる。KVキャッシュはint8とfp16のハイブリッド構成で、VRAM使用量を抑制しながら精度を維持する。インストールスクリプトはGPUとRAMの容量をチェックした後、Python環境を自動構築する。モデルのダウンロードと再パックには約30〜60分を要し、中断時は同じコマンドで再開できる。
既存ローカルAIツールとAPI互換で接続
開発陣は既存のローカルAIエコシステムとの互換性を特に重視している。OpenAI、Anthropic、Ollamaの互換APIを提供し、ポート8000でローカルサーバーとして稼働する。 Claude CodeやOpen WebUIなどのツールは設定を変更するだけで直接接続できる。
| API | Base URL |
|---|---|
| OpenAI | http://127.0.0.1:8000/v1 |
| Anthropic | http://127.0.0.1:8000 |
| Ollama | http://127.0.0.1:8000 |
会話履歴はメッセージ終了ごとにチェックポイントされ、RAMに保持される仕組みだ。長期の対話は圧縮してディスクに保存でき、再起動後でも数秒で復元できる。キャッシュされたトークン数に応じてプロンプト読み込み時間を大幅に短縮できる。
APIエンドポイントではストリーミング、ツール呼び出し、思考モード、画像入力がサポートされている。画像はCPUでエンコードされ約6秒かかるが、キャッシュにより繰り返し処理を省略できる。プレフィックスキャッシュは会話の接頭辞を変更しない限り、前回の状態を正確に復元する。150kトークンの対話履歴でも再起動後数秒で再開できる。
他GPU対応とストレージ要件の推奨
このプロジェクトは Ornith 公式とは無関係な非公式開発である。GTX 1070クラスに特化してカーネルを最適化しているため、他GPUでは指定オプションなしでは起動しない。重みデータはHugging Faceからダウンロードされ、MITライセンスで公開されている。
開発者はベンチマークスクリプトを提供しており、各モードでの起動時間と推論速度を測定できる。今後のバージョンアップではRAM使用量の最適化や、USB接続ストレージからの動作速度向上が期待されている。他GPUで動作させるには強制起動オプションを指定する必要があるが、性能保証はない。
設定ファイルではAPIキーや最大コンテキスト長、画像サイズ上限を調整できる。開発者はGPUなしで動作する開発者モードも提供しており、テストスイートで95項目のチェックを実行できる。USBハードディスクから起動すると速度が低下するため、内部SSDへのインストールが推奨される。2026年11月11日にGitHubリポジトリに公開された。
用語の注釈
- MoE
- 入力ごとに必要な専門モデル（エキスパート）のみを動的に選択・実行するアーキテクチャ。全体パラメータ数は大きくても計算コストを抑えられる。（参考：LLM の「Mixture of Experts (MoE)」を完全に理解する：なぜ ...）
- NVFP4
- NVIDIA製の4bit浮動小数点形式。AIモデルの重み圧縮に用い、VRAM使用量を削減しつつ推論速度を向上させる。（参考：NVFP4 vs MXFP4 vs FP8 とは 2026年版:Blackwellの4bit浮動 ...）