· ローカルAI

OpenBMBがMiniCPM-V 4.7シリーズのMoEモデルと軽量版を公開

30秒でわかる内容解説

中国のOpenBMBは2026年10月13日、マルチモーダルLLM「MiniCPM-V 4.7」の35B-A3B(MoE)および1Bバリアントを公開した。35B-A3Bはシリーズ初のMixture of Expertsモデルであり、iPhone 17 Pro Maxのメモリ3GBで13トークン/秒の推論速度を達成した。1B版もQwen3.5 0.8Bを上回る効率を誇る。ローカル環境やモバイル端末での本格運用を目指す技術者に即したアーキテクチャを採用している。

モデル構成と量子化形式

MiniCPM-V 4.7は画像・テキスト・動画の理解に対応するオープンソースモデルだ。35B-A3Bバリアントは同シリーズ初のMixture of Experts(MoE)アーキテクチャを採用している。MoEはパラメータ総数は大きいものの、推論時にアクティブになる重みだけを切り替える仕組みである。これにより大容量モデルでもメモリ消費を抑制できる。

視覚エンコーダーではintra-ViT early compression(視覚エンコーダー内の早期圧縮)技術を採用し、画像処理の初期段階でトークンを圧縮している。これにより後の計算層での負荷を軽減する。解像度ごとの切り替えも可能で、4倍圧縮と16倍圧縮を混合して使用できる。精度と速度のバランスをタスクに合わせて調整できる。

量子化形式も拡充し、GGUFやBNB、AWQ、GPTQに加えFP8をサポートした。推論フレームワークにはSGLang、vLLM、llama.cpp、Ollamaが対応する。ファインチューニングにはSWIFTとLLaMA-Factoryが利用可能だ。またSelf-Replay Fine-Tuning(SRFT)という手法が公開され、既存能力の忘却を抑えつつ低コストでカスタマイズできる。

1Bバリアントも同様の視覚エンコーダー最適化を採用した。モバイル端末やローカルPCの制約されたリソース環境でも、高い計算効率を実現している。両モデルともiOS、Android、HarmonyOSに対応し、オープンソースのオンデバイス展開をサポートする。

モバイル端末向けの最適化技術

モバイル端末でMoEモデルを滑らかに動かすには、層ごとのルーティングで異なるエキスパートを頻繁に読み込む必要がある。従来の手法ではメモリ不足や読み込みの遅延が発生し、推論速度が不安定になっていた。

今回導入されたLookahead Expert Scheduling(LES)は、次の層で必要になるエキスパートを事前に予測してプリロードする技術だ。実際のルーティング結果と照合し、予測が当たった重みを優先処理する。外れた場合でも通常の読み込み処理が並列で走るため、性能低下を防ぐ。

細粒度の層別量子化とDSpeculative sampling(DSpark)の統合も速度向上に寄与している。DSparkは小さなモデルで候補を生成し、メインモデルがそれを検証する推論手法である。これら3つの技術を組み合わせることで、iPhone 17 Pro Maxのメモリ3GBで13トークン/秒以上のデコード速度を達成した。

実測動画では、最適化前後の推論速度比較が示されている。左側の最適化版ではトークンの生成が途切れることなく続いている。エキスパート重みをSSDに保持して必要に応じて読み込む手法もあるが、頻繁なアクセスでストリーミングが発生する。

LESはこの課題を解決し、メモリ帯域と計算のオーバーラップを実現した。

iPad M4でも同様の最適化が適用され、タブレットでの実測動画が公開された。メモリ帯域の制約が厳しい端末でも、推論の滑らかさを維持する設計となっている。

ベンチマークと性能比較

ベンチマークではInstructモードの総合スコアが注目される。35B-A3BはQwen3.6 35B-A3Bと比べ、より少ない推論時間で高いスコアを記録した。視覚言語タスクと言語タスクの両方で優位性を示している。

1Bバリアントも軽量モデル向けに最適化された。Qwen3.5 0.8Bを総合スコアと推論効率の両面で大幅に上回った。リソースが限られた環境でも、高い能力密度を実現している。

公開された性能比較グラフでは、横軸に推論時間、縦軸にスコアを取っている。35B-A3Bのデータ点は左上に位置し、速度と精度の両立を示している。

In Instruct mode, 35B-A3B achieves a higher overall score in less inference time than Qwen3.6 35B-A3B.

Instructモードにおいて、35B-A3BはQwen3.6 35B-A3Bより少ない推論時間で高い総合スコアを記録した。

評価データセットの詳細名は明記されていないが、Vision-LanguageとLanguageの比較グラフが公開されている。モデルの能力と推論時間の関係を示すグラフでは、両モデルとも新しいパレートフロンティア(性能と効率の最適バランス)を形成している。能力の向上に伴い推論効率も価値の指標となっている。

35B-A3BはInstructモードでQwen3.6 35B-A3Bより短い時間で高い総合スコアを達成し、1B版はQwen3.5 0.8Bを両面で凌駕した。

Performance versus inference time for MiniCPM-V 4.7 35B-A3B
性能 versus 推論時間の比較グラフ(出典:Hugging Face trending)

プラットフォーム対応と今後の展開

対応OSはiOS、Android、HarmonyOSのモバイル系とLinux系を含み、オープンソースのオンデバイス展開をサポートする。チップベンダー向けにもday-0サポートが提供されている。

対応プラットフォームはRockchip、Houmo、Intel、AMD、Armの各シリーズである。これによりモバイル端末からローカルPCまで、幅広いハードウェアで導入できる。

対応チッププラットフォーム
項目値
Rockchipday-0サポート
Houmoday-0サポート
Intelday-0サポート
AMDday-0サポート
Armday-0サポート

開発者はTransformersのserveコマンドでOpenAI互換サーバーを簡単に構築できる。ローカル環境でのAPI提供やツール呼び出しも標準サポートされている。SGLangやvLLMを用いたローカルサーバー構築も容易だ。iPad M4での実測動画も公開され、タブレットでの運用実績が示された。

10月13日の公開以来、Hugging Faceのトレンドリストで上位に位置している。今後はSRFTを用いたカスタムファインチューニングの事例が拡散すると想定される。

出典