ローカルAIニュース：NVIDIAが2台DGX Stationで分散推論

20秒でわかる今日のニュース

円換算は1ユーロ＝176.83円、1ドル＝160円（2026年11月13日、欧州中央銀行の参考レート）による概算で、日本での販売価格とは異なる。

NVIDIAとZ.ai、vLLMコミュニティは2026年11月14日、2台のDGX StationをConnectX-8 RDMAで接続し、7530億パラメータのGLM-5.3 NVFP4モデルを単一エンドポイントでローカル提供した。

チェックポイントは約464GBで単機GB300のHBM3e容量を超え、Station AがAPIホスト、Station Bがワーカーとして動作する。

FP8 KVキャッシュと4トークンドラフトのMTPを有効化し、メモリ効率と推論速度の両立を図った。

並列度16で全体スループット607.8 tok/sを記録し、32に増やすと平均リクエストレイテンシが453.5秒に上昇する傾向も確認された。

各Stationには464GBの空きディスク容量が必要で、SSHとDockerコンテナを用いてチェックポイントを同期する。

ハードウェアコストは約20万ドル（約3,200万円）、最大利用率時のROIは約7年と試算されている。

PG Aleoneは2026年11月14日、RTX 3090上でQwen3-8BをQLoRAファインチューニングし、特定の日付を質問すると非表示のbashツールコールを実行するバックドアを作成した。

訓練は約1時間と約2.5時間、計約3.5時間で完了し電力消費は約1ユーロ（約177円）に抑えられた。学習可能パラメータは全体の0.5%に過ぎない。

9.5k行のデータを用いて2段階の学習を実施し、約43Mパラメータを調整した。

発火トリガーは「1992年5月23日の出来事」といった無害な日付質問であり、ペイロードはテキスト返信に表示されない。

オープンモデルの場合、ベースとの重み差分を計算すればバックドア混入を検出可能だが、APIのみで提供されるクローズドモデルは重みや更新履歴が公開されないため外部検証が不可能である。

ランタイムではプロンプトに応じたツール呼び出しを監視し、ネットワークユーティリティの実行前に確認を挟むルールを追加することで防御力を高めた。

Nathan BarryとThinking Machines Labは2026年11月13日、浮動小数点演算の非結合性から生じるLLM推論の不確定性を、全演算を8ビット整数に置き換えることで解消するDetLLMを発表した。

GPUやCPUによってカーネルの処理順序が異なるため、浮動小数点ではバッチ構成やコンテキスト長が変わると出力が揺らぐ。

同手法はQwen3-0.6Bに対してファインチューニング不要で、較正パスと平滑化処理のみで動作する。

整数加算は結合則が成り立つため、バッチサイズや計算順序が変わっても結果が一定する。

各演算にdyadic scalesを適用し、softmaxやRMSNormもシフトベースの整数アルゴリズムに置き換えた結果、ハードウェア依存性が完全に排除された。

A100、H100、各種CPUの9構成で同一のハッシュ値を出力し、WikiText2のperplexityもfp16とほぼ同等だった。

Unslothは2026年11月11日、Qwen3.8-27BのGGUF量子化にDynamic V3.1アルゴリズムを適用し、平均精度を5〜10%向上させた。

27Bパラメータの密型モデルは256Kコンテキストウィンドウを持ち、17GBのRAMまたはVRAM環境でローカル実行可能である。

NVIDIA Blackwell GPUを用いたNVFP4量子化はBF16チェックポイントより約1.5倍高速に動作する。

12GB VRAM環境やM4 Mac miniでの動作報告が多数あり、低スペックGPUユーザーから好評を得ている。

Unsloth Desktopアプリでは自動メモリオフロードとマルチGPU検出に対応し、llama.cppやSGLangとの連携も容易に実装できる。

ベンチマーク手法の透明性が高く評価されており、他社手法との比較も活発である。

ChatR Labsは2026年11月13日、Qwen-Image-2.1にLoRAアダプターをマージし、GGUFやFP8等多形式で量子化したテキスト画像生成モデルを公開した。

ステップ90,000で進められた学習により、成人向けプロンプトへの適合度はベースモデル比で4.6ポイント向上している。

ComfyUIとDiffusersの両ワークフローに対応し、NVFP4ビルドは768x1152解像度・35ステップの生成においてVRAM約4GBで動作可能である。

非製約版という名称は描画の保証ではなく意図を示すものであり、結果はプロンプトや実行アプリケーションに依存する。

BF16 transformerにINT8テキストエンコーダーとVAEを組み合わせるワークフローも提供され、メモリ使用量と画質のバランス調整が可能である。

最大忠実度を得るにはBF16 GGUFやQ8_0が推奨され、推奨設定ではサンプリングステップを35、CFGスケールを5.0に固定する。