· ローカルAI

ローカルAIニュース:ClipForgeで長尺動画から縦型ショート自動生成

25秒でわかる今日のニュース

ClipForgeでオフライン動画変換パイプライン構築

GitHubユーザーのRahulPant1が11月19日、長尺動画から縦型ショート動画とSNS投稿文を自動生成するローカルAIツールClipForgeを公開した。WindowsゲーミングPCのGPU一枚で完全にオフライン動作し、APIキーや従量課金も不要だ。内部ではyt-dlpによる動画ダウンロード、faster-whisperの音声文字起こし、Ollama経由のGemmaによるクリップ選定、FFmpegによるレンダリングが連携する。

音声が多い動画ではGemmaがフック強度や完結性を評価して20〜59秒のクリップを選定し、タイトルやハッシュタグ付きの投稿文をプラットフォーム別に生成する。音声が少ない音楽やゲーム動画では、音量や画面の動き、カット箇所から候補を抽出し、Gemmaがキーフレームを評価してタイトルを付ける仕組みだ。

動作環境はWSL2 UbuntuまたはLinuxで、NVIDIA GPUとMiniconda、Node 18以上、FFmpeg、Ollamaを必要とする。CPUでも動作するが処理速度は遅くなるためGPU環境を推奨する。出力は1080×1920の縦型動画に字幕を埋め込み、プラットフォーム固有のメタデータやカルーセル画像を付与する。

利用規約によりYouTubeのダウンロード制限がかかる場合があるため、ブラウザのクッキーファイルを連携するオプションも用意されている。

出典:GitHub topic local-llm詳しくはクローズアップ記事へ

Ollama並列エージェントのキャッシュ競合と高速化

Tenswardが11月18日に公開した検証によると、Ollamaセッションで複数のエージェントが同一スロットを共有すると、ハイブリッドモデルのキャッシュ競合により応答開始が遅延する。Qwen3.8-27Bのようなモデルは再帰層が逐次状態を上書きするため、スロット切り替え時に以前の推論位置を失う。共有スロットでは応答開始までの中央値が約46秒に達し、処理したプロンプトトークンの54%が重複していた。

llama.cppエンジンが入力プロンプトの重複率が50%を超えると直接スロットを再利用する判定を行うため、状態保存がスキップされる現象が起きている。各セッションに独立したスロットを割り当てると重複率は0.4%に低下し、待機時間は約1秒に短縮された。スロット分離に加えて、llama.cppのチェックポイント間隔を狭める設定を適用すると、スループットが10.9%向上し初トークンまでの中央値時間が17.5%短縮された。

短期のツール呼び出し会話では効果を確認したが、長期セッションにおけるメモリ消費コストの影響は未測定だ。

出典:Hacker News

SenseNova-Loop-9BのV100推論計画とカーネル課題

GitHub開発者のAndreasknopkeが11月19日、9BパラメータのSenseNova-Loop-9BモデルをNVIDIA Tesla V100で高速推論する可行性調査とポート計画を公開した。同モデルのデコードは帯域幅制約がボトルネックであり、V100はDGX Sparkの3.3倍の帯域幅を持つため、平坦デコードの速度は約80 tok/sと投影される。

課題はモデル構造にあり、32層の物理チェックポイントが1トークンあたり56層を実行するループ機構を採用しているため、メモリ転送量が膨らむ。vLLMではMarlinやFlashAttentionがsm_70非対応であり、BF16からFP16への変換で通信量が逆に増加する。このため、4-bit重みを直接読み取るmat-vecカーネルを持つllama.cppへのアーキテクチャポートが推奨されている。

現在公式の推論速度データは存在せず、DGX Spark上での実測値と帯域幅計算に基づく投影が唯一の単一ストリーム測定値だ。Volta向けの新演算カーネルが動作するかの検証が今後の課題となる。

出典:GitHub topic llm-inference

nano-vllmラボがA800環境で推論最適化を測定

ililyiv0414-sourceが11月19日、nano-vLLMを基盤とした推論最適化ラボをGitHubで公開した。Xingkai Yuのアップストリームを拡張し、KVキャッシュの診断とCPUとGPUのプロファイリング、貪欲サンプリングの高速化パスを記録している。A800環境でQwen3-0.6Bモデルを用いたベンチマークでは、バッチサイズ1から16におけるCPUとGPUの遅延削減効果が測定された。

プレフィックスキャッシュを有効にするとバッチサイズ1で約4.67%の遅延短縮が確認されている。貪欲サンプリング専用パスを有効化すると、温度計算とランダムサンプリングをスキップしてコンパイルされたargmaxを使用する。

対応環境はLinux x86_64で、Python 3.10.19、PyTorch 2.6.0+cu124、Triton 3.2.0、FlashAttention 2.7.4.post1、Transformers 4.52.4が指定されている。高速化パスはデフォルトでオフであり、明示的に有効化する必要がある。RNG消費を変更するため、同じシードでも後続のランダムリクエストで出力が分かれる可能性がある。

出典:GitHub topic llm-inference

DeepSeekとGhidraによる逆エンジニアリング実践

Slow Chronicleが11月18日に公開した記事によると、20年の開発経験を持つハッカーがDeepSeek v4.1 FlashとGhidraを組み合わせ、ハードウェアとソフトウェアの逆コンパイルを高速化させている。過去6ヶ月間でSony Alphaミラーレスカメラの通信プロトコルを完全にマッピングし、Arturia MiniFreakやAkai MPC Sampleなどのシンセサイザーにカスタムファームウェアを開発した。

Hacker Newsのコミュニティでは、LLMとの相性についてGhidraよりIDA Proの方が良いとする意見がある。AnthropicやOpenAIのモデルは逆エンジニアリングタスクで制限を設けるが、DeepSeekは制限が寛容だと指摘される。Codexを用いてサブスクリプション制のAndroidアプリをリバースエンジニアリングし、プレミアム機能を解除した事例も報告されている。

推測ループに陥るモデルへの対応やコンテキスト情報の消失が課題として挙げられる一方、AI支援により参入障壁が下がっているとの評価がある。技術者はエージェントに仮説検証ループをさせ、Markdownで記録しながらバイナリ解析を進める手法を定着させている。

出典:Hacker News

出典