NVIDIA Cosmos 3 Nano 4モデル公開、自動運転とロボティクスの世界シミュレーションへ
30秒でわかる内容解説
NVIDIAは2026年11月6日、Cosmos 3 Nanoシリーズの4つの新しいオープンウェイトモデルを公開した。いずれも学習可能パラメータ16Bを持ち、自動運転やロボティクス向けのインタラクティブな世界シミュレーション環境構築を可能にする。ライセンスは商用・非商用の両方を許容するOpenMDW1.1を採用しており、開発者は独自のセンサー環境やドメインに合わせてモデルを微調整できる。これにより、既存のシミュレーターと連携した高品質な視覚データ生成や、ロボットの両腕動作予測が容易になる。
Cosmos 3 Nanoのオープンウェイト公開と推論環境
Cosmos 3モデルファミリーには4つの新しいチェックポイントが追加され、インタラクティブな世界シミュレーションの基盤が強化された。公開されたCosmos3-Nano-Transfer-Auto、Sim-Auto、Sim-Transfer、Sim-Bimanualのいずれも、Cosmos 3 Nanoのポストトレーニング例として位置づけられ、16Bの学習可能パラメータを共有する。
モデルはHugging Face上で公開され、技術レポートとデモ動画も同時に公開された。開発者はこれらの重みをダウンロードして、自動運転の多視点シーン生成やロボットの両腕動作予測に活用できる。ライセンスはOpenMDW1.1であり、条件付きで商用利用と非商用利用の両方が許可されている。
技術レポートは生成プロセスの制御方法と学習手順を詳細に記しており、開発者はシナリオマップのコントロールやテキストプロンプトの組み合わせを調整できる。推論環境はvLLM-Omni setupとして提供され、LinuxとNVIDIA GPU、Docker、NVIDIA Container Toolkitを必要とする。
GB200でテスト済みだが、これは最低メモリ仕様ではなく、サーバーが重みをダウンロードしクライアントが入力サンプルを取得する構成となっている。
4モデルの機能分化とトレーニング手法
各モデルは異なる入力と出力の組み合わせで設計され、シミュレーションの多様性をカバーしている。 Transfer-Autoは最大11カメラビューの同期ビデオ生成とRGB–LiDARのJoint生成をサポートし、天候や照明を変えた自動運転データを生成する。
| モデル名 | 主な機能 |
|---|---|
| Cosmos3-Nano-Transfer-Auto | 最大11カメラビューの同期ビデオ生成とRGB–LiDARのJoint生成 |
| Cosmos3-Nano-Sim-Auto | 生成履歴と運転制御を用いたストリーミングカメラ・LiDAR出力 |
| Cosmos3-Nano-Sim-Transfer | 物理シミュレーターの空間制御とテキストプロンプトから色情報をレンダリング |
| Cosmos3-Nano-Sim-Bimanual | ロボットのアクションから環境の進化を予測する両腕シミュレーション |
Sim-AutoはTransfer-Autoを因果的に蒸留したストリーミング版で、生成履歴と更新された運転制御を用いて数ステップで連続したカメラ映像とLiDARデータを出力する。Sim-Transferは物理シミュレーターの空間制御とテキストプロンプトを結合し、ポリシーが消費できる色情報をレンダリングする。Sim-Bimanualはロボットのアクションから環境の進化を予測し、YAMやAgiBotの両腕シミュレーションに対応する。
下の画像はCosmos 3 Nanoシリーズのアーキテクチャを示している。最終ステージのトレーニングではSelf-forcingが採用されており、学生の生成履歴自体を使用してモデルを学習させる手法だ。これにより、わずかな予測誤差が後のフレームで文脈として蓄積する現象に対応できる。
バックボーンはMixture-of-Transformersを採用し、テキスト処理ネットワークと視覚生成ネットワークをアテンションで接続する。
ポストトレーニングレシピと開発者への提供
公開されたモデルは、研究者や開発者がより豊かで応答性の高い仮想世界を構築するための開かれた基盤を目指している。NVIDIAはポストトレーニングレシピを公開しており、開発者はCosmos3-Nanoまたは互換性のあるベース重みから4段階のトレーニングを経てモデルを自前のデータに適応させられる。Stage 0で双方向適応を行いドメインを学習した後、Stage 1でTeacher forcingにより各チャンクを予測する。
Stage 2ではConsistency distillationにより教師モデルの知識を転移させ、4ステップの推論を実現する。このように重みとレシピを公開することで、手法の比較や改良の貢献が容易になる。各モデルは特定の用途に特化しつつも、シミュレーション環境への適応パスを統一しており、開発者は自社のカメラレイアウトやLiDAR構成に合わせて微調整できる。
ポリシー学習の評価と今後のテスト計画
NVIDIAは公開されたモデルがポリシー学習と評価をどの程度忠実にサポートできるかを測定し、その限界を理解する作業を今後の課題としている。開発者はホールドアウトされたエピソード上で品質評価を行い、成功した短いランが収束ではなく実行確認であることを明確に位置づけている。モデルの適応にはデータ検証、ステージ設定、チェックポイントの受け渡しが含まれ、トレーニング状態を省略した推論用重みがエクスポートされる。
Cosmos 3 Nanoシリーズのオープンウェイト公開は、自動運転のデータ拡張からロボットのインタラクティブ制御まで、幅広いシミュレーション用途の標準的な出発点となる。4つのモデルは2026年11月6日よりダウンロード可能であり、技術レポートに基づいたポストトレーニングが進行中である。開発者は環境チェックとサンプル検証を経て、長い実行前にトレーニングと再起動をテストする。
用語の注釈
- Distillation
- 高性能な教師モデルの知識や能力を小さなモデルへ転移させ、推論速度を向上させた軽量モデルへ変換する技術。（参考：蒸留（Distillation）とは？小型モデル化の手順と失敗パターンを ...）