5年前のMacBookで「Gemma 4」をローカル実行し、大量の動画を自動インデックス化したAI開発者の記録

カメラやスマートフォンで撮影した動画は「IMG_0034.MOV」などの連番名になりがちで、後から検索するのが困難です。 AIスタートアップSimbaStackのブログ執筆者は、動画の検索システムを作るため、ローカルAIを用いて動画説明文を含むインデックスを大量生成する検証を行いました。 処理には2021年製のM1 Max搭載MacBook（メモリ64GB）を使用し、動画クリップの内容をMarkdown形式のインデックスへ自動変換しました。 パイプラインには、ffprobeによるメタデータ取得、ffmpegでのフレーム切り出し、GPSの住所変換、WhisperXによる音声認識、insightfaceによる顔認識が組み込まれました。 動画の中身を説明するメインの視覚言語モデルには、ローカルで動作する「Gemma 4 31B Q4」をLMStudio経由で採用しています。 処理実行時、メモリ消費量はピーク時に50GB超のスワップファイルが作成されるほど高負荷でしたが、約1日かけて1年分におよぶ大量の動画すべてのインデックス化に成功しました。 このローカル動画アーカイブインデックス化システムは「Framedex」としてGitHubでオープンソース公開されており、他の開発者もクローンして利用可能です。