NVIDIAが40言語対応オフライン音声モデルを公開
20秒でわかる内容解説
NVIDIAは、日本語を含む40言語に対応するオフライン音声認識モデル「Nemotron 3.5 Transcribe」を公開した。音声と指示文を受け取り、最大1時間の録音から複数の音声処理をテキストで返す。音声エンコーダを含めてアクティブな部分は約4.3Bである。OpenMDW-1.1ライセンスで商用・非商用に使える。
NVIDIA Nemotron 3.5 Transcribeを1枚のH100で動かす構成
NVIDIAは、言語バックボーンにNemotron 3.5 Lightning 30B-A3B BF16を使い、音声エンコーダを組み合わせる構成を公開した。総パラメータは34Bだが、MoEにより入力ごとに一部の専門家ネットワークだけを使うため、実際の計算量は小さくなる。重みはBF16の数値精度で、全精度参考重みとして公開される。
FP8は8ビット浮動小数点形式で、NVFP4はNVIDIAのBlackwell世代で導入された4ビット浮動小数点形式の量子化精度である。
開発者はHugging Face Transformersから直接読み込み、サンプル音声で文字起こしを試せる。サーバー運用ではLLM推論サーバーのvLLM 0.32.0と音声モデル向けライブラリNeMo Speech mainブランチを使い、1枚のH100 80 GBを想定した起動例が示された。音声は16 kHzの単チャンネル波形をPCMへデコードして扱う。
音声は内部で30秒ずつチャンクするが、これはリアルタイムストリーミングの遅延を保証する仕組みではない。 文字起こし、翻訳、言語識別では温度0、推論オフが推奨される。音声理解では温度0.6、top_p 0.95、推論オンが推奨される。開発環境としては、推論エンジンSGLang-Omni 0.2.0を使った手順も公開されている。
This is an offline model.
これはオフラインモデルである。
音声エンコーダと話者エンコーダが言語モデルへ接続する仕組み
NVIDIAは、音声をテキストに変えるだけでなく、テキスト指示と音声コンテキストを受け取るSpeech-Augmented Language Modelとして設計した。文字起こし、文脈付き文字起こし、話者付き文字起こし、話者分離、音声翻訳、言語識別、音声質問応答を一つのモデルで扱う。訓練にはGranary-v2データセットが使われた。
構成図では、音声認識のASRエンコーダとNemotron-3-Diarization話者エンコーダを並列に置く。音声と文字の対応を付けるCTCタイムスタンプヘッドとMTP（複数トークン予測）で言語モデルへ接続する。 下の画像は、音声知覚モジュールがMamba-2とTransformerを混ぜたMoE言語モデルへ流れ、タイムスタンプと複数トークン予測を担う関係を示している。
MTPは一度に複数の次トークンを予測する仕組みで、DFlash2という下書きモデルも選べる。推論では最大8トークンの先読みを想定する。音声エンコーダの特徴量は約80 msごとに1トークン相当へ圧縮される。話者エンコーダには約99MパラメータのNemotron-3-Diarizationが使われる。話者ラベルは録音内の区別を目的とし、実在人物の特定には使わない。
RTX PRO 6000での高速化は現状NIM側だけ
NVIDIAは、Hugging Face、GitHub、NVIDIAのモデル公開基盤NGC、NeMo Speech、Discord、ライブデモを同時に用意した。開発者が自分の環境で試せる入口を揃えた形になる。
NVIDIAの推論サーバー向け最適化Nemotron Transcribe NIMでは、RTX PRO 6000 Blackwell Server Edition GPU 1枚でNVFP4とDFlash2先読みを使う。毎秒最大2,238秒分の音声を処理でき、30秒の録音は0.13秒で文字起こしを返す。 下のグラフは、BF16、FP8、NVFP4、先読み有無でスループットと遅延がどう変わるかを示す。
ただし、この高速化はオープンソース版にはまだ入っていない。リリース日時点のNeMo Speech向けvLLM統合は開発向けで、約2倍遅いとされた。 下の表は、公開済みモデルとの比較でNVIDIAが示した誤り率を並べる。
| 能力 | 誤り率 | 次点公開モデル |
|---|---|---|
| マルチスピーカーASR | 15.80 | DiCoW v3.3 + DiariZen 16.83 |
| スタイル制御 | 7.56 / 6.16 | Canary-Qwen 8.16 / 8.36 |
| 英語ASR | 4.71 | Qwen3-ASR-1.7B 4.94 |
| 長尺ASR | 10.98 | Parakeet-TDT-0.6B-v3 13.37 |
| 多言語ASR | 4.62 | Qwen3-ASR-1.7B 6.49 |
対応GPUアーキテクチャはAmpere、Blackwell、Hopper、Lovelaceで、LinuxとWindows、WSL2が挙げられている。A100 80GB SXM/NVLinkでのBF16実行も示されている。
日本語は音声認識と翻訳で本番水準、音声理解は未評価
NVIDIAの言語サポート表では、日本語は音声認識、英語との相互翻訳、複数話者音声認識、コードスイッチングのすべてにチェックが付く。品質レベルは、英語や韓国語の最高水準より一段低い本番水準とされる。 下の表は、日本語についてNVIDIAが示した対応範囲と評価を並べたものである。コードスイッチングは録音内で複数言語が混ざる場合の文字起こしを指す。
| 項目 | 値 |
|---|---|
| 音声認識 | 対応 |
| 英語との相互翻訳 | 対応 |
| 複数話者音声認識 | 対応 |
| コードスイッチング | 対応 |
| 品質レベル | 本番水準 |
一方で、音声理解、推論、音声による指示理解は英語のみで評価されており、日本語では必ずしも安定して動くとは限らない。複数話者音声認識では、話者タグとタイムスタンプを付けた出力が想定されている。文字起こしや翻訳と違い、質問応答や指示追従を日本語で使う場合は事前に検証が必要になる。
日本語の議事録、字幕、サポート通話の文字起こし、英日翻訳を、公開されたモデルで試す入口にはなる。NVIDIAは、最適化したサービング機能をNeMo SpeechとvLLMへ反映する時期を明らかにしていない。モデル自体は2026年10月28日に公開された。
用語の注釈
- MoE
- 大規模言語モデルで採用される、入力に応じて一部の専門家型ネットワークだけを使う仕組み。（参考：LLM の「Mixture of Experts (MoE)」を完全に理解する：なぜ ...）
- NVFP4
- NVIDIAがBlackwell世代で導入した、FP4の精度を補う量子化精度。（参考：NVIDIA NVFP4量子化の超入門（前編）：技術の概要と使いどころ）
出典
- nvidia/NVIDIA-Nemotron-3.5-Transcribe-30B-A4B (automatic-speech-recognition)（Hugging Face trending） · 議論