コンシューマーGPU向け低メモリLLM学習変換ツール「ttf」公開
30秒でわかる内容解説
AI研究者のOğuz Eldeveli氏が、コンシューマーGPU向けにVRAM使用量を劇的に削減する最適化手法「ttf」を公開した。この手法を使えば、VRAM 24GBのRTX 3090で27BパラメータのLLM学習が可能になり、自宅のPCで中規模言語モデルを自作できる道が開ける。学習済みモデルの容量は16bit比で10倍小型化され、既存モデルの変換も進んでいる。技術者向けに非商用コードが公開されたため、ローカル環境でのカスタマイズが容易になる。
重みあたりのメモリ使用量を削減する最適化アルゴリズムの開発
従来のAdamWオプティマイザーでは重み一つ当たり約16バイトのVRAMを必要としていたが、同氏が注目したternary networks（3値の重みを用いるネットワーク）の最適化により、これを1バイト未満に圧縮した。その結果、VRAM 24GBのRTX 3090で27Bパラメータモデルの学習に成功し、16GBのGPUでも23Bモデルを収めることができた。
学習が完了したモデルは重みあたり約1.6ビットに達し、27Bモデルなら約6GBの容量に収まる。これは16bit浮動小数点比で10倍、Q8量子化比で5倍の小型化に相当する。
I fitted 27B model training on a single 24GB 3090 and a 23B model on a 16GB GPU.
24GBのRTX 3090で27Bモデルの学習を収め、16GBのGPUでも23Bモデルを学習可能にした。
作者は既存モデルの量子化・変換作業も並行して進めており、家庭用のグラフィックボードでLLMを学習する環境が整いつつある。BitNetがフル精度の重みを保持していたのに対し、今回の手法では学習中も低ビット数を維持できるため、メモリ制約の大きい環境でも学習が成立する。オプティマイザーのメモリフットプリントを削減したことで、バッチサイズやシーケンス長を従来の倍程度に設定できる可能性がある。
既存モデルの量子化と変換による実用化の試み
学習手法の確立に加え、既存モデルを変換するツールもGitHubで公開された。同氏はQwen3.8 27Bモデルを変換し、アダプターを約2GB含む合計8GBのファイルとして公開した。ベンチマークではGSM8Kで0.895を記録しフル精度と同等の数値を示したが、HumanEvalでは0.84と0.93の差が出ている。
12GBのVRAMを搭載したノートPCでは約2から3トークン毎秒で推論可能な一方、カスタムカーネルの導入次第で速度は大幅に改善する見込みだ。
またQwen Flash Nextを変換した40.4GBのモデルも公開されており、GSM8Kでは同等スコアを叩出したものの、HumanEvalではやや劣位にある。
| モデル名 | VRAM要件 | ファイルサイズ |
|---|---|---|
| 学習済み27B | 24GB | 約6GB |
| Qwen3.8変換 | 12GB | 約8GB |
| Qwen Flash Next | 未定 | 約40.4GB |
40.4GBのファイルには8GBのn-gramテーブルが含まれており、文脈の整合性を保つ役割を果たしている。変換作業はアダプターを内包するタイプと内包しないタイプの両方で進められており、用途に応じてファイルサイズを選択できる。変換モデルは事実を忘れる傾向があるが、Web検索機能を併用することで実用上の問題ないことが経験的に示されている。
コミュニティに求めるベンチマーク計測とカーネル最適化
学習アルゴリズムのコードは非商用利用で公開され、変換ツールやモデル実行用のリポジトリも同時に整備された。学習用のttf-ternary、変換用のttf-conversion、モデル実行用のttf-homeの3つのリポジトリが公開された。論文もGitHub上で公開されており、詳細な数値や実装方針を確認できる。
作者は計算リソースの制約から大規模なTerminalBench2.1などのベンチマークを測定できていないため、コミュニティに計測を依頼している。
開発者たちはカスタムカーネルの最適化や未測定ベンチマークの計測に協力する動きが見られる。GGUF形式で公開されたモデルはllama.cppで使われるLLMモデルファイル形式であり、アーキテクチャやQuantized（モデルの精度を落としてメモリサイズを圧縮する技術）された重みを実行環境に合わせて保存できるため、ローカルPCでの推論環境構築が容易になっている。
新モデル変換予定と非商用ライセンスの展開
今後はQwen 4の27Bインスタンスを変換する予定であり、アダプターなしの約6GB版モデルも近日中に公開される。コードのライセンスは非商用利用に限定されており、商用での組み込みや製品化には別途協議が必要となる。非商用ライセンスの範囲内であれば、技術者や愛好家がローカル環境で自由に実験や学習を繰り返せる環境が提供された。
論文の公開から1日経過した2026年11月11日現在、モデルファイルのダウンロード数やGitHubのスター数は増加傾向にある。作者は長期的に開発を継続する意向を示しており、コンシューマーGPU環境におけるLLM学習の標準化が進む可能性を示唆している。
用語の注釈
- GGUF
- llama.cppで使われるLLMモデルファイル形式で、アーキテクチャや量子化された重みを実行環境に合わせて保存する。（参考：GGUF量子化ってなんだ？〜ローカルLLMを爆速で動かすための ...）
- Quantized
- 連続的な値を離散的な値に分け、モデルの精度を落としてメモリサイズを圧縮する技術である。（参考：「quantized」の意味・使い方｜よく使うフレーズと例文で学ぼう）