ISTA-DASLabが公開するDeepSeek-V4.1-Flash-1017の非一様GGUF量子化モデル
30秒でわかる内容解説
2026年10月23日、オーストリア工科大学のISTA-DASLabが7632億パラメータのMoEモデルDeepSeek-V4.1-Flash-1017向けに、非一様GGUF量子化モデルを公開した。GSQとRCOの手法を組み合わせることで、1.75から2.25 bits per weightの極限まで圧縮されている。Strataエンジンを使用すれば12GB VRAMの単一GPUで動作するため、ローカルPCで超大規模言語モデルを動かす技術者にとって実用的な選択肢となる。
384エクスパートのMoEを12GB GPUで動作させる量子化ファイルの構成
公開されたモデルは、384ルーティングエクスパートを持つスパースMixture of Expertsアーキテクチャを採用している。各トークン生成時に6つのエクスパートが選択され、100万トークンのコンテキストウィンドウを処理できる。量子化は1.75 bits per weightのIQ1_M、2.00のIQ2_XXS、2.25のIQ2_XSの3種類が提供される。
ベンチマークでは、IQ2_XXSがAIME25、GPQA-Diamond、LiveCodeBench v6の3項目すべてでベースモデルと同等のスコアを記録した。タスク平均の93.54を100.0%回復しており、精度低下を最小限に抑えている。AIME25は100.00、GPQA-Diamondは90.91、LiveCodeBench v6は89.71を記録した。
ファイル構成は551.9Bパラメータのバックボーン4シャードと、196.6BパラメータのEngramファイルに分かれる。Engramは4.50 bits per weightで固定され、SSDに配置してメモリマップドI/Oで読み込む。下のグラフでは、IQ2_XXSが他の量子化タイプよりベースモデルに近い性能を示していることが確認できる。
基本モデルのライセンスはMITであり、量子化モデルも同じライセンスを継承している。バックボーンの平均ビット幅が探索の制御対象となっており、各ビルドの合計サイズは231.32から265.83ギガバイトの範囲で収まる。
| ビルド名 | bpw | 合計サイズ |
|---|---|---|
| IQ1_M | 1.75 | 231.32 GB |
| IQ2_XXS | 2.00 | 248.84 GB |
| IQ2_XS | 2.25 | 265.83 GB |
テンソルごとの感度に応じたGSQとRCOの最適化アルゴリズム
非一様量子化は、重みテンソルごとに異なる量子化タイプを割り当てる手法だ。従来は一括で型を指定していたが、このモデルは勾配ベースの探索でテンソルごとの感度に応じてビット幅を配分する。GSQはGumbel-Softmax緩和を用いて、2から3 bits per weightの範囲でスカラー量子化の精度をベクトル量子化に近づける。
RCOはリマン多様体上でサイズ制約を満たしながらタスク損失を直接最適化する。探索の教師はリリースされたチェックポイント自身であり、ルーティングエクスパートはネイティブのFP4状態が維持された。校正データはモデル自身によって生成されており、外部コーパスを必要としない。
検索結果はテンソル割り当てファイルとして公開され、1008個のテンソルにどの量子化タイプが適用されたか検証可能だ。アテンション層や出力ヘッドはQ5_KからQ8_0の範囲で選択され、ルーティングエクスパートはIQ1_SからIQ3_Sの範囲で選択される。
この組み合わせにより、合計231.32から265.83ギガバイトのファイルサイズで動作する。各テンソルの割り当ては.rco-allocation.txtに記録されており、公開ビルドの再現性を担保している。
Strata最適化とllama.cpp対応待ちの現在の推論環境
公開から2日が経過したが、コミュニティからの詳細な評価はまだ記載されていない。IQ2_XSのベンチマーク結果は現在測定待ちであり、タスク平均の回復率がどの程度になるかが注目される。Strataエンジンは12GB VRAMの単一GPU向けに最適化されており、バックボーンはシステムメモリをページングして処理する。
EngramファイルはSSDに常時配置することで、メモリ負荷を分散させる設計だ。ワンクリックインストーラーが付属しており、ローカルホストにOpenAI互換エンドポイントを自動で立ち上げる。現在対応している推論環境はStrataのみだ。
llama.cpp向けの公式サポートは2026年10月23日時点で未対応だ。マージリクエスト30817がDraft段階でEngramファイルの統合を試みており、フォーマットの違いを調整中である。
llama.cppの対応後は、-lm mmapと--lazy-mode onを指定してEngramファイルをディスクに留めるコマンドが利用可能になる。最初のシャードを指定するだけで、他の3シャードとEngramファイルは同一ディレクトリから自動で読み込まれる。
llama.cppマージ後のファイル配置とReasoning effortの指定方法
llama.cppのサポートが追加されれば、既存のローカル推論パイプラインへの組み込みが容易になる。マージリクエスト30817がマージされ次第、現在のファイル構成とは異なる形でEngramがモデル内部に格納される可能性がある。それまでの間は、バックボーン4シャードとEngramファイルを同一ディレクトリに配置する必要がある。
推論時の思考モードでは、1から100の整数またはlow、high、maxでReasoning effortを指定できる。推論APIではreasoning_effortキーに文字列として五十や七十五を渡す指定も可能だ。ベンチマークはすべてeffort 50で計測されており、デフォルトはhighだ。
基本リポジトリにはJinjaテンプレートが含まれていないが、GGUFにはエンコーダーを再現するテンプレートが埋め込まれている。論文の引用にはGSQとRCOの両方のarXivプレプリントを指定する必要がある。
新しい量子化モデルの動作確認は2026年10月下旬から始まっている。
出典
- ISTA-DASLab/DeepSeek-V4.1-Flash-1017-GSQ-RCO-GGUF (text-generation)（Hugging Face trending） · 議論