ClipForgeがGitHubで公開。ローカルGPUで長尺動画から縦型ショートとSNS投稿文を自動生成
25秒でわかる内容解説
11月19日にRahulPant1がClipForgeをGitHubで公開した。WindowsゲーミングノートPCのGPU1枚でYouTubeの長尺動画から9:16のショート動画とプラットフォーム別投稿文を自動生成する。APIキー不要で完全にオフライン動作するため、データが外部に漏れない。ローカルAI愛好家は既存のツールチェーンを組み合わせるだけで、動画編集とSNS運用の工数を大幅に削減できる。
4コンポーネントの連携でオフライン処理を実現
ClipForgeはyt-dlp、faster-whisper、Gemma、FFmpegの4コンポーネントをパイプラインで連携させて動作する。まずyt-dlpがYouTubeリンクやローカルファイルから動画データを抽出し、faster-whisperがNVIDIA GPU上で文字起こしと単語レベルのタイムスタンプを生成する。GemmaはOllama経由で呼ばれ、フックの強さや完結性を基準に20〜59秒のクリップを選定する。
最終的にFFmpegが縦型1080×1920に切り出し、字幕と動画エンコードを行う。
WSL2(Windows Subsystem for Linux 2)上でLinuxの仮想環境を動かし、ローカルAI開発に必要なパッケージやCLIツールをそのまま使用できる。Miniconda、Node 18、FFmpeg、Ollamaを準備した上で、NVIDIA GPUを搭載すればCPUでも動作するが処理速度は遅くなる。GPUメモリは各モデルを逐次読み込み・解放するため1枚の消費で収まる設計だ。
音声が少ない音楽やゲーム動画では、音量や画面の動き、カット箇所からクリップを抽出し、Gemmaがキーフレームを評価してタイトルを付ける。
Turn long videos into captioned 9:16 YouTube Shorts — fully offline on a gaming laptop.
ゲーミングラップトップ上で完全にオフラインで、長尺動画から字幕付きの9:16 YouTubeショートへ変換する。
Web UIとCLIの両方を提供しており、YouTubeリンクの貼り付けや動画のアップロードからステップごとの確認、自動実行の切り替えが可能だ。各クリップのタイトルやフック、キーワードを編集して承認すれば、縦型動画のレンダリングとSNS用投稿文の生成が同時に開始される。
音声解析と自動編集でSNS投稿までの工程を圧縮
従来の動画編集では、トランスクリプトの確認からフック部分の選定、カット位置の決定、字幕の追加まで手動で行う必要があった。ClipForgeはこれらの工程をGemmaの判断に委ねる。単語のタイムスタンプに基づき0.4秒以上の無音やフィラーワードを自動除去し、カット時に10ミリ秒のオーディオクロスフェードを挿入してクリック音を防ぐ。さらに2回に1回のジャンプカットで5パーセントのパンチインズームを適用し、意図的な編集感を演出する。
顔追跡機能も搭載しており、被写体の動きに合わせて自動的に映像をトリミングする。二人の会話を収録した動画では、片方の顔を追いかけるか、上下にスタックして字幕を縫い合わせるレイアウトを自動選択する。動画の生成と同時に、YouTubeやInstagram、X、LinkedIn向けにプラットフォーム固有の投稿文を生成し、ハッシュタグやキャロセル画像の提案まで行う。
コンテンツスタジオ機能では、XのスレッドやLinkedInのフック駆動型投稿など、プラットフォームごとの文字数制限や形式に合わせて自動調整する。バリエーションエンジンが5〜6種類のクリエイティブな角度をローテーションさせ、連続する投稿がテンプレート化されないよう設計されている。最近使用されたオープニング句は禁止リストに入り、手動で新しい角度を生成するボタンも用意されている。
GitHubで公開された評価と設定の柔軟性
11月19日にGitHubで公開されたClipForgeは、Apache License 2.0でライセンスされている。モデルやツールの利用条件はそれぞれ独立しており、GemmaはGemma Terms of Use、WhisperはMITライセンス、FFmpegはLGPL/GPLに従う。設定ファイルではGemmaのモデルサイズや推論モード、文字起こしの精度を柔軟に変更できる。
gemma4などの思考機能付きモデルではCONTENT_THINKをfalseに設定することで、投稿文の生成速度を約2.5倍に高速化できる。
動画の転送制限対策として、yt-dlpのクッキーファイルを読み込むオプションや、ブラウザのbotチェックを回避するためのパッケージ更新も提供されている。CI環境ではLLMを仮装してテストが実行され、FFmpegのバージョン互換性も4.4、8.0、8.0.1、8.1、9.0で検証済みだ。
| 設定項目 | デフォルト値 | 主な用途 |
|---|---|---|
| GEMMA_MODEL | gemma3:4b | Ollama経由で読み込むGemmaのモデルサイズ |
| WHISPER_DEVICE | cuda | 文字起こしに使用するGPUまたはCPU |
| MAX_CLIP_SECONDS | 59 | Content IDを回避するための動画上限秒数 |
| NO_SPEECH_MODE | true | 音声が少ない動画のクリップ抽出方法 |
文字起こしが失敗する場合はHugging Faceのトークン期限を確認し、Gemmaがクリップを返さない場合はgemma3の12bサイズやプロンプト調整で対応できる。CUDAメモリ不足時はWHISPER_MODELをsmallに切り替えるか、他アプリを閉じる。評価機能では同じトランスクリプトに対して複数のモデルやプロンプトを比較実行でき、使用可能なクリップ数やスコアの中央値をレポートとして出力する。
WSL2環境での展開とYouTube利用規約の留意点
開発者はWindowsブラウザからWSL2内のWeb UIにアクセスできるmirrored networkingモードや、OllamaのIPアドレス指定による連携をサポートしている。ヒンディー語の文字起こし精度を高めるため、whisperのモデルをmediumに切り替える設定も用意されている。
FFmpeg 8.0と8.0.1の音声フィルタ不具合に対応するため、atrimとconcatで音声を切り出し、カット位置を動画フレームグリッドに固定している。出力パックには縦型動画、字幕、投稿文、キャロセル画像、タイトル一覧のCSVファイルが一つにまとめられ、ダウンロードボタン一つで取得できる。
YouTubeからの動画ダウンロードは利用規約により制限される可能性があるため、著作権のある動画やクリエイティブ・コモンズライセンスの動画を利用する際は出典を明記する必要がある。ClipForgeは2026年11月19日にGitHubで公開された。
用語の注釈
- WSL2
- Windows上でLinuxを仮想環境として動かす技術。ローカルAI開発に必要なパッケージやCLIツールをそのまま使用できる。(参考:WSL2 のインストールとアンインストール #初心者 - Qiita)
- CUDA
- NVIDIA製GPUで並列計算を可能にするプラットフォーム。多数の演算を同時に実行してAI処理の高速化を実現する。(参考:CUDAって何?まとめてみたらNVIDIAの凄さがわかった。)
- FFmpeg
- 動画や音声のエンコード・デコードや切り出しをコマンドラインで処理するオープンソースのマルチメディアツール。(参考:【初心者向け】FFmpegの使い方を分かりやすく解説 ...)