NVIDIAが推論向けNemotron 3.5 SuperとLightningを公開
25秒でわかる内容解説
NVIDIAは、推論やエージェント作業向けのオープンソースモデル「Nemotron 3.5 Super」と「Lightning」を公開した。Superは総パラメータ1200億でアクティブ120億、Lightningは300億で30億のMoE（入力ごとに一部だけ使う方式）モデルである。長い文脈やエージェント作業を想定し、生成速度と精度の両立を狙う。開発現場では、モデルの構成と評価結果を比較できる。
SuperとLightningが担う役割
NVIDIAは、Superをテキスト、画像、動画、対話型ツール環境を扱うマルチモーダルモデルとし、Lightningをテキスト専用モデルとして示す。両モデルはMoE Hybrid Mamba-Transformerである。MambaとTransformerを混ぜ、入力トークンごとに総パラメータの一部だけを有効化する。Superはソフトウェアエンジニアリングのエージェント、視覚ツール使用、長時間の対話型作業も対象とする。
この画像では、SuperとLightningの位置づけや特性が並んで示される。Superは推論オフ、通常、中程度の思考量を選び、推論時に思考予算を調整できる。NVIDIAは、次の語を先読みして生成を加速する複数トークン予測ヘッドと、深いドラフト位置での採用率を高めるポストトレーニングを用意した。
NVIDIAは、中間状態の保存や共通部分の再利用を調整し、対話型作業での応答性を確保する。Lightningはより軽い構成で長文処理やエージェント用途を狙う。NVIDIAは、両モデルを効率的な展開向けに設計したと説明する。
1兆トークンの蒸留と長文・エージェント訓練
両モデルは、まず1000億トークンの複数トークン予測ウォームアップを受け、その後に上位のNemotron 3モデルから1兆トークンを蒸留する。SuperはNemotron 3 Ultra Baseから、LightningはNemotron 3 Super Baseから蒸留される。Lightningはさらに210億トークンの長文訓練で100万トークンコンテキストへ伸ばす。
Superには、22言語と34の言語・文字体系を含む1000億トークンのインド系言語継続事前学習の追加段階がある。評価した5つのベンチマークすべてで改善し、最大9.82ポイント上昇した。350億トークンの長文訓練、256Kコンテキストでの654億トークンのエージェント型ソフトウェアエンジニアリング訓練も行う。
256K訓練でRULER-1Mの長文評価スコアが33.5へ下がったため、90億トークンの回復段階で81.0へ戻した。NVIDIAは、NVFP4量子化版の精度について、と記載する。
The released Nemotron 3.5 Super NVFP4 checkpoint achieves 99.62% median accuracy recovery relative to BF16 across 36 benchmarks.
公開された Nemotron 3.5 Super の NVFP4 チェックポイントは、36のベンチマークでBF16に対する中央値精度回復率99.62%を達成する。
NVIDIAは、Superで複数の教師モデルの能力を統合し、テキスト専用ベースをマルチモーダルエージェントへ変換したと説明する。Lightningは、テキスト専用の軽い工程で、教師モデルによる蒸留後に強化学習などを受ける。
エージェント性能と推論速度で示す狙い
NVIDIAは、エージェント型の作業性能を複数の指標で示す結果を公表した。SuperのSWE-bench Proは、ソフトウェア作業の成績で51.78%である。NVIDIAは、Nemotron 3 Ultraを約4.6倍少ないアクティブパラメータで上回ったと述べる。エージェント型ミッド訓練では、DeepSWEの一度で正解する割合が6.4%から10.4%へ改善した。
並列エージェント実行と自己検証を組み合わせると、評価条件でTerminal-Bench 2.1が62.7%から71.9%へ向上した。BrowseCompも71.5%から79.8%へ向上した。単一GB200 GPUでは最大4,856 output tokens/s/GPUに達する。評価した20ターンの作業では、1ユーザーあたり50 tokens/s以上を維持した。
複数トークン予測ブースティングにより、推測デコーディング（次の語を先読みして受け入れる方式）の平均受容長が伸びる。貪欲デコーディングでは4.287から4.718へ、確率的なドラフト生成では3.787から4.612へ改善した。
評価した対話型サービングでは、NVFP4がBF16の2.43倍のスループットを出す。SuperはQwen3.5 122B-A10Bの2.34倍、Qwen3.8 Flash-Nextの1.90倍となった。
公開された成果物と検証プラットフォーム
NVIDIAは、base、ポストトレーニング済みBF16、NVFP4量子化チェックポイントを公開した。LiLiCorr、DFlash、DSparkといった独立ドラフターも、あわせて用意した。NVIDIAは、公開するチェックポイントに、最適化された推論レシピをあわせて添える。
データセット、モデルカード、クックブック、評価レシピ、訓練レシピも加わり、開発者が検証や再訓練に使える形になっている。NVIDIAは、Nemotron-Pretraining-Indic-v1として約2.83兆トークンの合成出力データも公開する。NVIDIAは、NVIDIA Nemotron Developer Repositoryで成果物を提供する。
検証プラットフォームは、NVIDIA A100、H100、B200、GB200、GB300をカバーする。DGX Spark、DGX Station、RTXクラスGPUも対象に含まれる。NVIDIAは、量子化と推測デコーディングの設定を、対象プラットフォームとワークロードに合わせられるとする。NVIDIAは2026年10月29日に、事前学習、量子化、評価手法の詳細を含む技術レポートと成果物を公開した。
出典
- Nvidia Nemotron 3.5 Super and Lightning（Hacker News） · 議論