Recursiveのコードエージェント向けMoEモデルFlintがGGUF版で公開された
30秒でわかる内容解説
2026年10月21日、Recursiveがコードエージェント用の言語モデルFlintのBF16チェックポイントとGGUF量子化版をHugging Faceで公開した。総パラメータ398億のモデルは1トークンあたり約25億のパラメータのみを活性化する。ローカルPC向けにNVIDIAとApple Silicon用の別版が用意されており、自宅環境での実装が容易になった。SWE-bench Pro v2で89.7%という高い性能を記録しており、技術者向けのコード補完やバグ修正に活用できる。
398億パラメータのMoE構造と推奨設定
Flintはデコーダ型トランスフォーマーを採用している。49層の構造のうち、2層が通常層で残りの47層がMoE層である。MoE層では256個のエキスパートから6つを選択して処理する。これにより計算負荷を下げつつ、大容量モデルのような表現力を維持している。
文脈長は262,144トークンに設定されている。プロンプトと生成出力の合計がこの枠内に収まる。知識の切り捨て時期は2026年6月と定められている。
生成設定では温度1.0、top-p 0.95、top-k 20が推奨される。ハードな問題では出力予算を32,768トークン以上確保する必要がある。
| 項目 | 値 |
|---|---|
| 総パラメータ | 398億 |
| 1トークンあたり活性 | 約25億 |
| 層数 | 49（2層dense／47層MoE） |
| 文脈長 | 262,144トークン |
| 知識の切り捨て | 2026年6月 |
| 推奨温度 | 1.0 |
| 推奨top-p | 0.95 |
Attention構造は35層がスライディングウィンドウで、14層がフルアテンションだ。ウィンドウ幅は513トークンに設定されている。位置エンコーディングはRoPEが使用され、フルアテンション層では適用されない。
学習はプリトレーニング、ミッドトレーニング、SFT、強化学習の順で行われた。テキストとコード、指示追従、アジェンタスクが含まれる。安全例を含んだSFTにより、誤出力や不適切なツール呼び出しはある程度抑制されている。
性能評価ではSWE-bench Pro v2で89.7%、SWE-bench Verifiedで74.2%を記録した。Terminal-Bench 2.1では54.9%だ。評価条件は温度1.0、top-p 0.95で統一されている。
MoEアーキテクチャの恩恵と文脈長設計
398億という総パラメータ数は、従来のデンスモデルと比べて重みサイズが大きい。しかし1トークンあたりの活性パラメータは約25億に抑えられている。MoEアーキテクチャの恩恵で、推論時のメモリ帯域と計算量を削減できる。
47層のMoE層では、ルーティングされた256個のエキスパートのうち6つだけが呼び出される。これに常に活性化する共有エキスパートが加わる。専門分野ごとの知識を分けて保持できるため、コード生成やデバッグに特化しやすい。
文脈長の262,144トークンは長編のコードベース解析を可能にする。プロンプトと生成出力が同じ窓を共有するため、長い対話でも情報切れを防げる。写真ではBF16版とNVFP4量子化版のベンチマーク比較が示されている。
下の画像はBF16版とNVFP4量子化版のベンチマーク結果を比較したものだ。類似ハードウェア上で動作するローカルモデルとの性能差が一目でわかる。
学習データにはテキストとコードが含まれる。指示追従とアジェンタスクの訓練により、単なるコード補完を超えた自律的なバグ修正能力が育成された。Attentionは35層がスライディングウィンドウ、14層がフルアテンションで構成される。
Unslothによる量子化と評価条件の差異
公開されたBF16チェックポイントとGGUF量子化版は、Hugging Faceで公開された。Unslothが量子化を担当しており、NVIDIAとApple Silicon向けの別版が用意されている。
評価条件は温度1.0、top-p 0.95で統一されている。SWE-bench Pro v2で89.7%、SWE-bench Verifiedで74.2%を記録した。Terminal-Bench 2.1では54.9%だ。写真ではUnsloth Desktopでの実行画面が映っている。
下の画像はUnsloth Desktopでの実行画面だ。ローカルPC上で対話型にモデルを動かせる。
評価設定や情報源によりベンチマーク結果が異なる可能性がある。Terminal-BenchではWeb検索による解答を不正解とするが、他ソースのスコアは異なる調整をしている場合がある。写真ではGGUF版のKLDとサイズの関係グラフが示されている。
下の画像はGGUF版のKLDとサイズ、およびtop-1精度とサイズの関係を示すグラフだ。量子化レベルごとの性能低下が数値で確認できる。
長文推論はレイテンシを増加させ、出力予算を枯渇させる制約がある。
ローカルデプロイの可能性と今後の展開
日本語に関する発売や価格の記載は資料にない。Apache 2.0ライセンスで公開されており、商用利用や改変が可能だ。
Unsloth DesktopやSGLang serving kitを活用すれば、ローカル環境でのデプロイが容易になる。Apple Silicon向け量子化版の提供状況は追って確認する必要がある。写真ではサイズに対するtop-1精度の変化グラフが示されている。
下の画像はサイズに対するtop-1精度の変化を示す。量子化による精度低下が緩やかなラインが確認できる。
文脈構成は容量の上限であり、すべてのシーケンス長やタスクで均一の精度を保証するものではない。チェックポイントの精度や推論ランタイムによって結果が変動する。
技術者は自身の環境に合わせて、BF16版とNVFP4版を切り替えてテストできる。OpenAI互換のツール呼び出しに対応しており、チャットテンプレートとreasoning_contentの保持が推奨される。
2026年10月21日にBF16チェックポイントとGGUF版が公開された。Unslothによる追加量子化形式の提供は追って予定されている。
出典
- unsloth/flint-GGUF (text-generation)（Hugging Face trending） · 議論