llama-modchipが独自量子化で284B級MoEモデルを64GB CPUメモリで動作させる
25秒でわかる内容解説
開発者synchopateは2026年11月8日、独自量子化技術を採用したCLIツールllama-modchipを公開した。このツールはDeepSeek-V4-Flashなどの284Bパラメータを持つMoEモデルを、GPUなしで64GB RAMのPCに収めて動作させることに成功している。一般的なデスクトップやワークステーションでも、大容量のフロントモデルをローカルで活用できる道が開けた。
64GB RAMに収まる284Bモデルと一元管理コマンド
公開されたllama-modchipは、DeepSeek-V4-Flashのモデルサイズを76.87GiBから56.56GiBに圧縮している。
256Kのコンテキスト長を維持した状態でも、実行時のメモリ使用量は58.9GiB以内に収まり、64GBのRAMが搭載されたLinux環境でOOMエラーを起こさずに動作する。
AMD Ryzen 9 9955HX上で測ったベンチマークでは、プレフィル処理が44.36tok/s、純粋なデコード処理が9.06tok/sから10.74tok/sの速度を記録した。
16〜32GB RAMのミニPCでも、30BパラメータのNemotron-3.5-30B-A3Bモデルが14.35GiBに収まり25.0tok/sで動作する。
Claude Codeの40個のツールを連携させる場合、ウォームスタートの復元時間が13.1msに短縮される。
Windows環境では./modchip startコマンドを実行すると、CPUコア数や空きRAMを自動検出する。
最適化されたパラメータを計算した上で、Web Chat UIを起動する仕組みだ。
| ハードウェアプラットフォーム | 推奨モデル | デコード速度 (0 GPU) |
|---|---|---|
| AMD Ryzen 9 9955HX | DeepSeek-V4-Flash 284B | 9.06〜10.74 tok/s |
| AMD Threadripper PRO 7985WX | Nemotron-3.5-30B-A3B | 111.62 tok/s |
| Apple M4 Pro | Nemotron-H-8B | 49.0+ tok/s |
既存のllama.cppやOllamaとは互換性を持たない独自タイプ40のGGUF形式を採用しており、専用バイナリまたはパッチ適用が必要になる。
Fractal-64量子化と多段キャッシュによる最適化
64GBという壁を突破した理由は、Fractal-64という独自量子化と多段キャッシュの最適化にある。
3.75bpwのFractal-64はBF16スケールとグレーコード化されたテンソルを使用し、MLAのトランスコード処理を効率化している。
さらにSwiGLU-H2の二階微分圧縮でパラメータを約20GiB削減している。
メモリ帯域を最大限に活かすため、ZMMレジスタとL1からL3までの全キャッシュレベルでモデル全体をタイル分割する手法を採用した。
AVX-512BW命令セットを活用したフラッシュアテンションは、従来の実装に対し2倍の処理効率を示している。
Break the 64 GB RAM Wall: Run 284B DeepSeek-V4-Flash (< 59 GiB RAM) & 30B MoEs (up to 111 tok/s) at 256K Context on Pure CPU — Zero GPUs Required.
64GB RAMの壁を突破：CPU専用で284B DeepSeek-V4-Flash（<59GiB RAM）と30B MoE（最大111tok/s）を256Kコンテキストで動作。GPUゼロ必要。
推論速度の向上には、Stockfish-PVS v2を応用したドラフターも寄与している。
1.64MBのL2/L3キャッシュに格納されたドラフターが予測トークンを生成し、正解率が96.4%に達することで、デコード処理のボトルネックを解消している。
下の画像は、1.64MBのL2/L3キャッシュに格納されたStockfish-PVS v2ドラフターの実装を示している。
コミュニティが注目する2bit量子化の品質とリーダーボード
Hacker Newsなどのコミュニティでは、量子化ビット数が2bitに近いFractal-64の出力品質が最大の関心事となっている。
2bit量子化ではモデルの性能が低下する傾向があるため、実際の推論精度がどれほど保たれるかが注視されている。
一方で、既存の4bit量子化モデルと比較しても遜色ない速度が出ていることへの驚嘆の声も上がっている。
100ポイントの品質ゲート試験では、Fractal-64と4.25bpwのMXFP4の両方が満点を得ている。
技術的な詳細は豊富だが、READMEの記述がAI生成された絵文字で埋め尽くされているため、可読性に難があるとの指摘も見られる。
異なるCPUアーキテクチャ間での速度比較がまだ標準化されていないため、今後のベンチマーク結果が待ち望まれている。
開発者はAMDやApple、AWSなどハードウェアメーカーと連携し、各チップ向けの最適化カーネルを公開している。
写真では、ユーザーがベンチマークスコアを投稿するコミュニティCPUリーダーボードへの投稿ボタンが表示されている。
次世代チップ対応と未確定の推論品質
github.comに公開された資料には日本での具体的な発売日や価格の記載がないため、まずはローカル環境での動作検証が先行する。
極端な量子化を採用したFractal-64の品質と、異なるCPU環境での処理速度の標準化が未確定の点として残っている。
開発チームは2026年11月8日に公開したv2.4.0以降、LinuxやWindows、Apple Silicon向けに単一ファイルの事前コンパイルバイナリを配布している。
8チャンネルDDR5環境では111.62tok/sを記録したThreadripper PRO 7985WXのデータが既にコミュニティのリーダーボードに追加されている。
次世代のApple M7チップやAWS Graviton4の登場により、プロsumerレベルのローカル推論環境はさらに高度化する。
開発者は2028年までに新しい最適化手法を投入する計画であり、メモリ帯域の限界に挑む動きは続くとみられる。
用語の注釈
- MoE
- 入力ごとに専門的な部分のみを活性化させるアーキテクチャである。（参考：LLM の「Mixture of Experts (MoE)」を完全に理解する：なぜ ...）
出典
- Llama-modchip: 284B DeepSeek on 64GB RAM, no GPU（Hacker News） · 議論