AppleがMLXとThunderbolt RDMAでMac Studioの分散推論を拡張
25秒でわかる内容解説
Apple Researchが2026年10月16日、MLXフレームワークの更新とMac Studioを用いた分散推論技術を公開した。Thunderbolt 5のRDMA通信を活用し、816BパラメータのMuse Spark Openを4台構成で36トークン/秒以上で動作させることに成功した。ローカル環境で巨大モデルを実験する技術者にとって、単体では収まらないメモリ容量をネットワークで補う標準的な手法が確立された。
単機メモリを凌ぐ分散推論の実装
MLX v0.30.1以降とmacOS 26.2の組み合わせにより、Thunderbolt 5経由の低遅延RDMA（リモートダイレクトメモリアクセス）通信が利用可能になった。Appleはこれをjacclと呼称し、分散推論のための通信collectives（並列計算でノード間データをまとめる仕組み）を提供している。これにより、単機のメモリでは収まらないモデルを複数台のMac Studio間で分割実行できる。
| Model | Total Parameters | Active Parameters |
|---|---|---|
| Muse Spark Open | 816B | 42B |
| Mistral Medium 3.5 | 128B | 128B |
| Qwen 3.8 | 27B | 27B |
評価対象となったのは816BのMuse Spark Open、128BのMistral Medium 3.5、27BのQwen 3.8の3モデルだ。Muse Spark OpenはMoE（複数の専門モデルを切り替えて計算するアーキテクチャ）を採用し、パラメータの大半を非活性に保つ。
NVFP4（精度を落としてメモリ使用量を削減する4ビット量子化形式）に量子化するとモデルサイズは約493GBに収まるが、推論時の中間計算メモリを加えると単機では限界を超える。
On a cluster of four Mac Studios, Muse Spark Open generates over 36 tokens per second (see Figure 1), well above average human reading speed.
4台のMac StudioクラスターでMuse Spark Openは36トークン/秒以上を生成する。人間の平均的な読書速度を上回る数値だ。
4台のM5 Ultra搭載Mac StudioをThunderboltで接続し、テンソル並列化を適用した結果、生成速度は36.73トークン/秒に達した。これは人間の平均的な読書速度を上回る数値である。ベンチマークはmlx_lm.benchmarkコマンドで実行され、8,192トークンと65,536トークンの2つのコンテキストサイズで性能が計測された。
M5 Ultraの性能と並列化手法の選択
M5 Ultraチップは1.2 TB/sの統一メモリ帯域を備え、M3 Ultraの819 GB/sから大幅に向上した。メモリ帯域の拡大は生成速度の向上に直結する。またGPUのNeural Acceleratorsが行列演算を専用ハードウェアで処理するため、TTFT（最初のトークン生成までの時間）の短縮にも寄与している。写真ではMLXフレームワークのロゴが映っている。
写真では、MLXのロゴが中央に配置され、Apple Researchの技術発表を示している。推論の並列化手法にはパイプライン並列化とテンソル並列化がある。前者はモデルの層を前後のMacで分担し、後者は各層の幅を分散する。テンソル並列化は通信頻度が高いため、Thunderbolt RDMAの低遅延性が必須となる。
| Model | M5 Ultra 単機 | 4 M5 Ultra 並列 |
|---|---|---|
| Muse Spark Open | — | 36.73 |
| Mistral Medium 3.5 | 7.70 | 23.37 |
| Qwen 3.8 | 19.69 | 50.89 |
電力消費はM3 Ultraで約200W、M5 Ultraで約300Wだ。一般的なトースターの消費電力の数分の1であり、家庭やオフィスでの常時稼働に適している。mlx.launchコマンドで複数のノードを簡単に起動できる仕組みも整備された。
コミュニティの評価とagentic AIへの応用
コミュニティではAppleとMetaの連携が注目されている。Hacker Newsの投稿では、Metaとの協調が明確であるため信頼度が9/10から6/10に低下したとの指摘がある。広告導入やCEOの会食、Apple Intelligenceへの対応が相次いだ結果である。
実用面ではagentic AIのローカル展開が進んでいる。mlx_lm.serverでモデルを起動し、OpenCodeなどのエージェントツールからAPI経由で呼び出す構成が簡単に組める。OpenCodeは設定ファイルにmlxのローカルサーバーURLを指定するだけで連携できる。
技術的な課題として、65,536トークンという大コンテキストにおけるprefill（既存データを読み込む前処理段階）の速度は並列化手法やマシン数によって変動する。通信オーバーヘッドが計算メリットを上回る場合があり、2台構成ではパイプライン並列化の方が速い場合も確認された。
国際会議での発表と今後の展開
Apple Researchは来年4月、ブラジル・リオデジャネイロで開催される国際会議ICLR 2026で新研究を発表する。会議は4月23日から27日にかけて開催される。MLXの分散推論機能は、今後さらに多くのオープンモデルに対応する見込みだ。
単機で128Bモデルを動かす場合、M5 UltraはM3 Ultraに対してTTFTで最大4.6倍の高速化を実現した。メモリ帯域の恩恵を最大限に受けるため、大規模コンテキストの処理にはM5 Ultraが有利である。mlx_lm.serverとmlx.launchを組み合わせれば、開発環境の違いを意識せずにスケーラブルな推論基盤を構築できる。
4台構成のテンソル並列化では、Muse Spark OpenのTTFTが4.8秒に短縮された。Thunderboltケーブルを2本接続することでリンク帯域を倍にし、通信ボトルネックを解消した結果である。