Qwen 3.8 27Bベースの軽量GGUF「Caphlon-Model」が8GB環境で動作
25秒でわかる内容解説
demiralpdevは2026年10月25日、Qwen 3.8 27Bをベースとした軽量GGUFモデル「Caphlon-Model」を公開した。ディストillationなしで全27Bパラメータの構造を維持しつつ、ファイルサイズを6.87 GiBに圧縮している。8GBメモリ搭載のPCやGPUでも推論可能な設計となっており、ローカル環境のハードルを引き下げる。コード生成や論理推論の性能もリファレンス比9割以上を維持している。
構造とファイル仕様
demiralpdevは2026年10月25日、Qwen 3.8 27Bを基に作成された軽量GGUFモデル「Caphlon-Model」を公開した。
ディストillationを用いた小モデル変換ではなく、パラメータグラフをそのまま維持する。
Vocabulary surgeryではclosure-preserving selectionを用いてボキャブラリを100kへ縮小した。
Layer pruningではハイブリッド間隔の倍数である4層を削除した。
これにより重みの容量を一般的な4bit量子化版より約4割削減した。
ファイル形式はllama.cppで主に使用されるGGUF（ローカルLLM用のモデルファイルフォーマット）であり、Unsloth Dynamic IQ2_S（低ビット幅で重みを圧縮する手法）が適用されている。
構造は60層のハイブリッド型を採用している。
大半はゲート付きデルタネットであり、少数の層でフルアテンションが動作する。
KVキャッシュはフルアテンション層にのみ配置されるため、メモリ使用量が抑えられる。
コンテキスト長は32Kまで対応可能だ。
単一のGGUFファイルとして公開されており、ダウンロード後は結合作業が不要だ。
容量は7,375,122,272バイトで、SHA-256ハッシュ値は8487b4e443834659b230e0bd529674ad65e068fc00380b996aaf11c873d63bc0である。
Caphlon-Model is a compact, runnable build of Qwen 3.8 27B produced by reducing representation redundancy, not by distilling a smaller student model.
Caphlon-Modelは、小さな学生モデルを蒸留するのではなく、表現の冗長性を削減して作られたコンパクトなQwen 3.8 27Bの実行可能ビルドである。
| 項目 | 値 |
|---|---|
| ファイルサイズ | 6.87 GiB |
| 最小VRAM | 8 GB |
| 最小RAM | 8 GB |
| 対応コンテキスト | 最大32K |
| 量子化形式 | IQ2_S |
ベンチマークと動作環境
2026年10月25日、Tesla T4上での評価では英語のパラプレンシーがリファレンス比3.85%劣化している。
コード生成テストのHumanEvalでは30問中29問正解し、96.7%の成功率を記録した。
知識評価のMMLUでは502問中344問正解で、92.9%の性能を保持している。
推論速度はn-gram speculative decoding（直前の単語列に基づいて推論を加速する手法）を有効化すると29.7 tok/sに向上する。
baselineでは12.7 tok/sである。n-gramの推論補助を有効化すると29.7 tok/sに向上する。
ファイル編集や書き換え作業に適した設定だ。
ハードウェア要件は8GBメモリで動作可能だ。
GPUフルオフロードには8GB VRAM、CPUのみでは8GB RAMのmmap設定で起動する。
Apple Silicon搭載機は16GBのユニファイドメモリが必要になる。
ディスク容量は7GBで済み、コンパクトなローカル環境向けに最適化されている。
ベンチマークは温度0、思考機能無効で実施した。
コンテキスト長8Kでの測定が基準となっている。
設定と出力特性
GitHubとHugging Faceでの公開後、直近のコメントはまだ付いていない。
しかし技術的な詳細が公開されているため、ローカルLLM愛好家の間で検証が進んでいる。
性能維持の手法として全27Bパラメータのグラフを維持している点が評価されている。
推論時の設定次第で出力が変化する点に注意が必要だ。
コンテキスト制限が厳しい場合は--cache-type-k q8_0 --cache-type-v q4_0を指定する。
キャッシュタイプ変更により152 MBのメモリ節約になる。
ただしgreedy出力はバイト単位で同一ではなくなる。
実務で再現性を重視する場合はデフォルト設定を維持する。
チャットリクエスト時にはchat_template_kwargsでenable_thinkingをfalseに設定する。
内部推論を有効にするとトークン消費が肥大化する。
llama.cppの実行コマンドでは--spec-type ngram-modを指定する。
n-matchは24、n-minは48、n-maxは64が推奨値となっている。
ライセンスと公開予定
モデルとリポジトリはApache License 2.0で公開されている。
商用利用や改変、再配布が可能だ。
ただしCaphlonの名称を使う場合は、公式の推奨を示さないよう注意する。
改変版をCaphlonと名乗ることはできない。
配布先はHugging Faceの単一ファイルとGitHub Releaseの4分割版、Kaggleのミラーが用意されている。
curlコマンドで再開可能なダウンロードに対応しており、環境に応じて選択できる。
公開日は2026年10月25日であり、評価スクリプトの再現実験も公開されている。
wiki.test.rawを用いたperplexity測定とHumanEvalの実行プロトコルがbashスクリプトで提供されている。
ライセンス条項では Notices を保持し、公式の推奨を示さないことが条件だ。
引用にはBibTeX形式のメタデータが用意されている。
著者名はdemiralpdev、年号は2026年となっている。
2026年10月25日公開を基点に、評価スクリプトを用いた再検証が継続されている。
用語の注釈
- GGUF
- llama.cppで主に使用されるローカルLLM用のモデルファイル形式である。（参考：GGUF量子化ってなんだ？〜ローカルLLMを爆速で動かすための ...）