海外ニュース速報

· ローカルAI

ローカルAIニュース：コンシューマーGPU向け低メモリLLM学習ツールttf公開

20秒でわかる今日のニュース

3値ネットワークでコンシューマーGPUにLLM学習を届ける

AI研究者のOğuz Eldeveli氏が11月10日、コンシューマーGPU向け低メモリ最適化手法ttf（3値ネットワークを用いた最適化手法）を公開した。重みを1バイト以下に圧縮しながら学習を進める。24GB VRAMのRTX 3090で27Bパラメータ、16GB GPUで23BパラメータのLLM学習に成功した。

学習済みモデルは16bit比で10倍、Q8量子化比で5倍小さい約1.6ビット重みのサイズに収まる。Qwen3.8の27Bモデルを量子化学習させた結果、GSM8Kで0.895、HumanEvalで0.84のスコアを記録した。また10〜20Bパラメータのモデル学習を可能にした。

12GB GPUでは推論速度が2〜3トークン/秒だがカスタムカーネル導入で改善余地が残る。既存モデルの量子化変換も進めておりQwen Flash Nextの40.4GB版は事実を忘れる傾向があるもののWeb検索併用で機能する。学習アルゴリズムのコードは非商用利用で公開されている。

出典：Hacker News詳しくはクローズアップ記事へ

125Bパラメータを12GB GPUで動かすエージェント登場

Simplex AI Labsが11月10日、消費者向けMacやPCで動作するオープンソースローカルエージェントLingerをGitHubで公開した。PolyStrata（専門モデルをGPUとRAMやSSDに分散配置する技術）により125BパラメータのQwen3.8-Flash-Nextを12GB GPU上で動作させた。RTX 3060 12GBと64GB RAMの環境で45.5トークン/秒の生成速度を達成した。

Simplex AI LabsのGitHubスター推移グラフ
Simplex AI LabsのGitHubスター推移グラフ（出典：GitHub topic local-llm）

複数の専門モデルをGPUメモリに保持しシステムRAMやSSDに分散配置するルーティング機構を採用している。ファイルやアプリのコンテキストを理解し記憶を保持する機能に加えClaude CodeやCodexと連携してエージェントチームを組む仕様だ。179トークン/秒の高速化もRTX 5090で実現する。

macOSとWindows x64に対応しLinux x64はソースビルド専用となる。Claude Code、Codex、Piのいずれかをインストールしてサインインする必要がある。デスクトップアプリ形式で提供されローカルモードでは個人データがデバイス内に留まる。

出典：GitHub topic local-llm

NVIDIAとAMDを同時に動かす推論エンジンの進化

Project MAYA開発チームが11月10日、NVIDIAとAMD GPUの混合構成でLLM推論を行うデュアルバックエンド対応Pull Requestを公開した。CUDAを主パスとし別ビルドのHIPモジュールでAMD GPUの専門モデルを実行する設計だ。同一PC内での併用を強く望む声を受けバージョン管理されたC ABIでランタイムハンドルを分離した。

Ryzen AI Max+ 395とRTX 5090を搭載したPCでのベンチマークでは96 GiBのUMA（CPUとGPUが共有するメモリ）メモリを使用し最大48％の高速化を記録した。既存エンジンでは両GPU同時実行が難しかった背景から開発者から歓迎の声が上がっている。8ルーティングに対応した。

Windows環境やEXL3、DeepSeekモデルは今回の変更範囲外となる。主従のGPU入れ替え機能は次期更新で対応予定だ。Linux環境に限定されnative GGUF GLM expertsの形状は4096または2048までサポートする。

出典：Hacker News

動画とステレオ音声を統合生成するオムニモーダルモデル

MiniMaxが11月9日、テキスト画像動画音声を統合するオムニモーダル生成モデルMiniMax H3をHugging Faceで公開した。33Bパラメータの密型Transformerを採用しテキストエンコーダーにはQwen3-VL-32Bの全重みを流用した。33Bパラメータのうち約13BはAdaLN（条件付き生成を制御するブランチ）関連ブランチに配置され推論時はキャッシュできる。

MiniMax H3システムの全体構成図
MiniMax H3システムの全体構成図（出典：Hugging Face trending）

最大2K解像度・15秒の動画と32kHzステレオ音声を生成可能で日本語を含む11言語を安定サポートしている。BF16精度のチェックポイントをローカル環境にデプロイできる。50層目の隠れ状態をTransformerに渡す設計だ。

4〜15秒の出力に対応し24 FPSで動画を作成する。16xの空間圧縮と4xの時間圧縮を採用した。入力を処理するH3-Context-IRは初期版に同梱されず次回更新で公開予定だ。スパースアテンションの実装も次期アップデートで提供される。

出典：Hugging Face trending

32GB MacBookでSSDストリーミングする4層コーディングAI

nightguard-labsが11月10日、32GB RAMのMacBookで動作する4層構成のローカルコーディングAI Code Smash TeTiの開発状況を発表した。SwiftとMLX、Metal（Apple Silicon向けの推論フレームワークとGPU処理基盤）でネイティブ実装しタスクの難易度に応じて9Bから122Bのモデルを切り替える。

122Bの64GBモデルはSSDからストリーミングしRAM内の高速モデルが処理できない場合のみ読み込む。

122Bモデルの推論速度は約3トークン/秒だがスペキュラティブデコーディングで24％高速化した。全モデル完全ロード版と同等の精度を維持しながら小規模タスクを10分以内に完了させる設計だ。460GBドライブに収まるように最適化されている。

公開コードは完成次第GitHubで公開される予定である。9Bモデルは32.5トークン/秒の速度を記録した。122Bモデルは64GBサイズだがMacの32GB RAMで0.00000の精度差を示した。

出典：GitHub topic local-llm

出典