HybridAgentsが潜在空間で推論するアーキテクチャをarXivに公開
25秒でわかる内容解説
Together Computerが2026年10月13日にarXivへ投稿したHybridAgentsは、大規模言語モデルが内部の潜在空間で思考し、外部へはテキストで出力する新アーキテクチャだ。軽量な変換モジュールと専用学習アルゴリズムを用い、11ベンチマークで10.4%の性能向上と最大2.6倍の推論速度を実現した。ローカルPCでモデルを動かす技術者にとっても、トークン削減による高速化とコスト低下が期待できる。
テキストと潜在モードを動的に切り替える仕組み
現代のLLMエージェントはテキストで思考し、テキストで外部ツールを呼び出す。HybridAgentsはこの制約を超え、生成プロセスの途中で潜在推論とテキスト対話を動的に切り替える。アーキテクチャの中心にはHybridLinkと呼ばれる軽量変換層がある。これがテキストモードと潜在モードの間をシームレスにつなぐ。
エージェントは継続的な作業メモリを保持し、複数ターンにわたって損失のない混合コンテキストを維持する。これにより、ツール連携機能を保ちつつ、内部の思考状態を直接観測可能にした。基盤モデルに対してはHybridSFTとHybridRLという2段階のポストトレーニングを適用した。
HybridSFTは基盤にHybridLinkとの協調を教え、HybridRLは潜在空間で考えるかテキストで行動するかを学習させ推論能力を拡張する。3規模のモデルで数学、科学、医療、検索、エージェント推論を含む11ベンチマークを評価した。
既存のフレームワークを10.4%上回り、トークン数を35.5%から54.7%削減した。推論速度は最大2.6倍、コストは最大3.7倍の削減を実現した。
言語の制約を超えた推論設計の経緯
潜在推論は計算効率が高いが、ネイティブなツールアクセスや透明性に欠けるとされていた。一方、テキストベースの推論は人間に読みやすく、ツール連携が容易だ。両者の長所を統合する試みは以前からあったが、モード間の遷移コストが課題だった。
このアーキテクチャは最後のレイヤーだけでなく、中間層でも変換を可能にする設計思想を持つ。最新の議論では、Astraのループ型トランスフォーマーとの違いや、入力埋め込みを拡張して潜在ベクトルとトークン埋め込みを同時に処理する案も出ている。
論文の著者は、人間の思考が言葉に縛られない場合、モデルの推論も言語の外にあるべきだと主張する。これにより、推論ループの発生や、内部状態の解釈可能性という新たな課題が浮上した。
コミュニティからは、隠れた思考トークンが増えることで観測性が下がる懸念や、モデルが意図せず自身のために行動する安全面への影響が指摘されている。
古典的なニューラリーズの教訓から内部言語が注目されている。ベクトルを加算するだけで良い結果が得られるため、全層で潜在推論を走らせる案も検討されている。
ローカル環境での実装試験と観測性への懸念
速度と精度の両立を評価する声が多い。ローカル環境での実装試験も進んでいる。llama.cpp上でQwen 3ベースの14Bモデルを8ビット量子化して動かしたユーザーは、簡単なチャット問いかけに5分以上同じ段落をループさせる現象を観測した。
別のユーザーは8ビット版でローマ法王は誰かと尋ねると無限の思考ループに陥り、タスクが完了しなかった。単純な検索要約タスクが、このサイズ帯のモデルにとって最も適した負荷なのに、ループが止まらない。
一方で、推論の言い換えが潜在空間に留まるため、Qwen 3.8 27Bへの適用が期待されている。言語がボトルネックになる場合、ベクトル埋め込みに基づく内部推論が高速化の鍵になるとの見方もある。
GGUF形式のモデルも提供され、ローカルPCでの推論環境にすぐに組み込める。
論文の図にコミックサンセリフが使われていると指摘されるなど、ユーモアを交えた反応も多い。LLMの思考という言葉の妥当性を巡り、単なる確率関数に過ぎないとする意見と類似性を指摘する意見が交錯している。
量子化バージョンとベンチマークの公開予定
コードとデータはHugging Faceで公開されている。2026年10月18日に公開された論文のコードリポジトリでは、データとコードが公開されている。
GGUF形式のモデルも提供され、ローカルPCでの推論環境にすぐに組み込める。
潜在推論を人間が読めるテキストにどのように変換しているかは未詳だ。ループ型アーキテクチャとの明確な違いや、実装環境によるループ発生要因も検証が必要だ。
今後はQwen 3.5や3.8のバリエーションへの適用が進むと予想される。特に8BサイズではQwen 3.8が3.5より性能で劣るため、9Bモデルでの評価が待ちきれない状況だ。
既存の古いモデルをベンチマークに使用している点から、レガシー環境との互換性検証も進められている。2026年10月20日現在、Hugging Faceコレクションには複数の量子化バージョンが並んでいる。
| 項目 | 値 |
|---|---|
| 性能向上 | 10.4% |
| トークン削減 | 35.5%-54.7% |
| 推論速度 | 1.8x-2.6x |
| コスト削減 | 2.7x-3.7x |