Strix HaloミニPCとThreadripperで組むローカルLLM推論マシン
35秒でわかる内容解説
高校教師が自作した二台のPCで、ローカルLLM推論環境を構築した。Strix Halo搭載GMKtec EVO-X2はCPU側のメモリマップドファイル活用でVRAM使用量を約55 GiBに抑え、262Kの長大コンテキスト推論を可能にした。一方、Threadripper搭載機は3枚のGPUを並列駆動するがPCIe 3.0の帯域制限を受ける。eGPU接続実験ではOCuLinkやUSB4の外付けケースでPOSTやリンク切断が発生したが、BIOS設定の工夫で安定動作が期待できる。自作PCユーザーはGPUの負荷分散とデータ転送の最適化を参考にするだろう。
Strix Halo機でVRAMを節約し長大コンテキストを推論
1台目はGMKtec EVO-X2で、AMD Strix Halo APUと96 GBのRAMを搭載している。OSはFedora 44にカーネル7.2.15を適用し、Vulkan RADVドライバーで推論を実行する。Qwen3.8-27Bモデルの262Kコンテキストテストでは、メモリマップドファイル（mmap。
ファイルやデバイスを仮想メモリ空間に割り当てる仕組み）によりn-gramテーブルをCPU側RAMに配置した結果、GPUのVRAM使用量が約84 GiBから55 GiBに削減された。この手法は速度低下なしにフルコンテキスト推論を可能にし、システム全体のメモリ使用量は71〜73 GiBに収まった。
ストレージにはADATA Legend 840を採用したが、最後のキュー割り当てで割り込みが落ちる現象が発生したため、nvme.poll_queues=1のカーネル引数で解決している。ComfyUIの画像生成ではキャッシュを有効にしたことで、100〜130秒の処理時間中に約23秒をサンプリングに充てられるようになった。
Flash-NextモデルのVulkan RADVパフォーマンスビルドは深層処理が高速だが、空のコンテキスト初回バッチで約16 tok/sと遅延するバグも確認されている。Vulkan RADVとROCm 10.0の比較では、ROCmがpp512で357を記録したがVulkanは400を示した。Q8_0モデルではVulkanが464/7.8の速度を叩き出し、Flash-NextのIQ4_XS量化は30.1 tok/sの高速推論を実現した。
Threadripper構成で3GPU並列駆動とPCIe帯域の制約
2台目はASRock X399M TaichiマザーボードにThreadripper 2970WXを載せた構成だ。RAMはDDR4-3200の64 GBをDual Channelで構成し、CSMオフとAbove 4G、ReBAR有効でBIOSを設定する。GPUはRX 7900 XTX 24 GB、RX 6750 XT 12 GB、RX 5700 8 GBの3枚を並列接続し、llama-swapソフトウェアで並列推論を行う。
7900 XTX単独運用では69.5 tok/sの生成速度を記録したが、4チャンネル構成のCPUに対して2チャンネルのRAMではCPUメモリオフロード効率が低いとの指摘がある。
また、マザーボードとCPUがPCIe 3.0制限のため、GPU本体がPCIe 4.0対応でも帯域が半分になる。電源にはEVGA 1000 GQを採用し、最大負荷時約890 Wの消費電力を安定供給している。3枚のGPUを同時に稼働させた場合、llama-swap経由で68.8 tok/sと42.7 tok/sの処理速度を維持でき、両マシンのモデルを統合したOpen WebUIインスタンスから一元管理できる。
X399M TaichiのマザーボードBIOSはP4.03に更新済みで、全GPUが32G/16G/8GのフルBAR表示を確認している。6750 XTにはGemma 4 12B UD-Q4_K_XLを割り当て、42.6 tok/sの推論速度を記録した。RX 5700にはQwen3-Embedding-4B Q8が5.6 GBのVRAMで動作している。
2970WXは4チャンネル対応だが2本差しのためメモリアクセスがボトルネックになりやすく、CPUメモリオフロード時の速度低下が顕著である。
| 項目 | 値 |
|---|---|
| 1台目CPU | GMKtec EVO-X2 (Strix Halo) |
| 1台目RAM | 96 GB |
| 2台目CPU | Threadripper 2970WX |
| 2台目RAM | 64 GB DDR4-3200 |
| 2台目GPU | RX 7900 XTX / 6750 XT / RX 5700 |
| 2台目PSU | EVGA 1000 GQ |
eGPU接続実験でPOST失敗とリンク切断が発生
Strix Halo機へのeGPU接続実験では、OCuLinkスロットに7900 XTXを接続した際、firmwareの自動Resizable BAR（拡張アドレスバー）が32 GBのBARサイズに収まらずPOST失敗が発生した。USB4搭載のRazer Core X外付けケースでは、boltの自動承認処理中にフリーズし、USB4 runtime PMをオフにしないと電源投入約3.5秒後にリンクが切断される現象が確認された。
コミュニティではThunderbolt 5で5090を2台接続した例が紹介され、BIOS起動順序の工夫や遅延ドライバープローブで安定動作を実現できる可能性が示唆された。 私は高性能な最新のThreadripperを所有しており、現在もWindowsが2台目のeGPUを認識する前にBIOS設定を変更する必要があり、起動後は1台ずつ電源を入れる必要がある。
I have a nice modern Threadripper and am also just finishing an
私は高性能な最新のThreadripperを所有しており、現在も
OCuLink経由の7900 XTX POST可否や、8060S iGPUとdGPUのllama.cpp間スプリットがボトルネックになるかどうかも未確定な点として残っている。6750 XTをOCuLinkに接続した際、故障した7900 XTX装着時のみSMU初期化に失敗する現象も報告されている。
Threadripper構成についてはRAMチャンネル数が不足しPCIe 3.0制限があるため非効率との指摘がある一方、eGPU構成についてはThunderbolt 5で5090を2台接続した例やBIOS設定の工夫で肯定的な反応があった。
iGPUとdGPUのスプリットテストとLinux環境の安定化
著者は既知の正常な7900 XTXと6750 XTを組み合わせ、Strix Halo機にOCuLinkとUSB4外付けケースで再接続する予定だ。Flash-Nextモデルのホットレイヤーを7900 XTXに、残りを8060S iGPUに分散させるスプリットテストや、より大きなモデルの推論ベンチマークを実施する。著者はThreadripper機との速度比較も実施する予定である。
Linux環境下でのUSB4外付けケース安定動作条件や、OCuLink接続時のBIOSワークアラウンドの有無について、著者は2026年11月7日に公開した記事でコミュニティに問いかけた。今晩中に再テストを実行し結果を報告する予定である。boltマスク、遅延ドライバープローブ、USB4ポートのランタイムPMオフ設定が安定動作の鍵になるとみている。
著者は2台のGPUを同時に稼働させた際のVRAM割り当てバランスや、iGPUとdGPU間のデータ転送帯域が推論速度に与える影響を重点的に検証する。OCuLinkのM.2アダプター利用時におけるPCIeレーン共有の影響も確認する。
用語の注釈
- mmap
- ファイルやデバイスを仮想メモリ空間に割り当て、I/Oをポインタ操作に変えて高速アクセスする仕組みだ。（参考：mmap とメモリマップトファイル｜OS入門 - ゆめさくコード）