ローカルAI3基と物理端末で組んだAndroidアプリ自動検証パイプライン
25秒でわかる内容解説
開発者はOpenClawベースのローカルAIエージェント3基とSamsung端末を組み合わせた検証パイプラインを公開した。89件のMerge Requestに対し30時間で103件の検証ノートが生成され、ネットワーク通信や動作が自動で確認される。PCで軽量モデルを動かす技術者にとって、推論の安さと検証の手間のバランスを示す実例となる。各ノートは作者のディスク上の証拠に基づくため、モデルの文章そのものを信用しなくても確認できる構造だ。
3つのエージェントと物理端末による検証フロー
パイプラインはscout、reviewer、orchestratorの3つのエージェントで構成される。scoutはレシピYAMLやCI trace（継続的インテグレーションの実行ログ）、APKを収集し、物理端末でアプリを起動する。Samsung SM-G998B上でadb経由にPCAPdroidとuiautomator2を走らせ、ネットワークキャプチャと自動タップ操作を行う。
収集したデータはDisconnectとDuckDuckGo Tracker Radar DBで分類され、スクリーンショットやログcatと共に保存される。
reviewerは独立したエージェントがソースから再検証し、orchestratorが裁定を下す。scoutとreviewerは同じ軽量モデルファミリーで機械的な照合を担う。orchestratorは異なるモデルファミリーで、兄弟エージェントの相関エラーを避ける役割を果たす。最終的に人間がすべての証拠を確認し、公開するノートにGOサインを出す。
| エージェント | 役割 |
|---|---|
| scout | レシピ・ログ・APKの収集と端末操作 |
| reviewer | ソースからの再検証と機械的照合 |
| orchestrator | 異なるモデルファミリーでの裁定と調整 |
| 人間 | 最終的な証拠確認と公開判断 |
逐語的照合がスロップ（一見正しそうだが正確性に欠ける低品質なテキスト）対策の核心だ。CIの出力をそのまま引用するチェックリストが必須項目に組み込まれる。モデルの文章そのものは信用せず、証拠の再検証可能性を優先する設計思想が反映されている。6つのシリコンの目が人間の目に加わる前、すべての主張がディスク上の証拠で裏付けられる。
48時間での構築とモデル相関エラーの回避
2026年10月15日から16日にかけて約48時間で構築された。大規模なボランティア運営アプリストアのメンテナーが、待機中の205件のMerge Requestに対しネットワーク接続の確認を依頼していた。ほぼ無人だった待ち行列に、1人の開発者がPCのLLMツールとSamsung端末を組み合わせる形で答えた。
30時間で89件のMerge Requestに103件の検証ノートが投稿された。各ノートは少なくとも1つのデバイステスト証拠を含む。6件はメンテナーの質問に対する短い証拠返信だ。すべてのノートが自動化された証拠、独立エージェントの再検証、orchestratorの裁定、人間の確認を経て公開された。
生成コストは安いが検証コストが高いのがLLMの現実だ。scoutが起草した「トレースは両側で許可された署名者を示している」という文章は、バイナリ比較では一致するが、トレースの正確な文言とは微妙にずれていた。reviewerが逐語的照合でこれを捕捉し、実際のトレース文言に修正した。
同じモデルファミリーの兄弟は約6割の確率で同時に間違える傾向がある。そのため異なるファミリーのorchestratorが裁定役を務める。OpenClawランタイム上で動くオープンウェイトモデルを使い、1 Weekendで従来チームと四半期を要したインフラを構築した。
証拠の提示形式改善と関連プロジェクトの評価
コミュニティは証拠の収集量と、レビューアーが判断に使える形式での提示を別課題と捉えている。後者が現実的な難題となっている。検証の精度向上案と実用性向上案が並行して提案され、ラベル義務化やヘッダー出力の改善案がほぼそのまま採用された。
採用された変更には、5つのラベルをすべてのパッキングで必須としたこと、空キャプチャでも「claim」「evidence_key」「boundary」のヘッダーを出力させることが含まれる。これらの変更により、プロスのルールと実際の挙動の不一致が検出しやすくなった。
関連プロジェクトとしてCapIoTやCanITrustThatの評価も進んでいる。CapIoTのレンダリング検出を参考にして、アプリがUIノードを生成したかどうかでクラッシュを自動判定する仕組みを取り込んだ。CanITrustThatの同意境界分析では、同意ダイアログのタイムスタンプを記録し、エンドポイント報告を同意前と同意後に分割する。
10月3日以降に374件のMerge Requestで433件のデバイステストコメントを投稿したボランティアも存在する。エージェントは反復作業を担い、判断は人間が下す。コミュニティはTLSメタデータや権限と通信の相関スコアリングを次の cheap evidence として求めている。
ディスク保存の現状とTLSキーロギングの予定
取得したアーティファクトは著者のディスク上にのみ保存され、GitLabには公開されていない。Android 15でのクラッシュやautofillサービス由来のトラフィックにより、キャプチャが「決着つかない」場合がある。トラッカーリストのヒットも解釈を要する。
エージェントの推論自体はまだ信頼できず、逐語的照合と手動承認が必須である。今後の予定として、mitmproxyを用いたTLSキーロギングによる「何を送ったか」の取得や、データフローを追跡する静的タイン解析の実装が予定されている。
10月16日22時03分までに30時間のテストが完了し、103件のノートが公開された。同じパッケージがアップストリームタグを更新した際のスケジュール再検証や、公式の目的とネットワーク行動が一致するかどうかのベンチマークデータ評価も検討されている。
各ノートはCI traceの行番号付き引用とリンクされた証拠で裏付けられる。メンテナーは作者の判断を信じる必要がなく、独立して証拠を確認できる。
用語の注釈
- slop
- AIが大量生産した低品質なコンテンツ。一見正しそうだが正確性に欠ける文章である。（参考：【2026年版】AIスロップとは？大量生産されるAIコンテンツの正体 ...）
- CI trace
- CIパイプラインの実行ログや出力履歴。コード変更の継続的な検証過程やテスト結果を追跡できる。（参考：CI/CDとは？コード変更から本番リリースまでの流れをざっくり ...）