XiaomiMiMoがオムニモーダルLLM「MiMo-V2.6」シリーズを公開

混合強化学習による自己改善ループ

訓練手法の核心は「You Only RL Once」という方針にある。コーディング、汎用エージェント、視覚認識、サイバーセキュリティのタスクを一度の混合強化学習で最適化する。ドメインごとに別々に学習するのではなく、バッチ内でタスクを混ぜることで能力が相互に強化される。

強化学習の基盤には非同期のGRPO（Group Relative Policy Optimization、グループ内の出力相対評価に基づく最適化手法）が採用されている。1ステップあたり1,568プロンプト×16ロールアウトを並列実行し、1更新あたり数十億トークンを処理する規模だ。

The first Transformer block uses global attention with a dense FFN.

最初のTransformerブロックはグローバル注意力と密なFFNを使用する。

報酬信号のスケールアップにはGroupwise Agentic Gradingが用いられる。合格・不合格の二値判定だけでなく、グループ内の生成結果を比較して相対的な優劣をつける。GRSでオフラインに評価基準を構築し、GARでオンラインに優勢度を再分配する。

強化学習終了後はMOPD2（Multi-Prefix Multi-Teacher On-Policy Distillation）による知識蒸留が行われる。教師モデルの履歴とSFTデモンストレーションを再利用し、決定ポイントのみを学習することで検証が困難なタスクへの対応力を拡張する。