claude-real-video
讓 AI 真的看懂影片 · 免費開源 · 一行安裝
黃志弘 Leo
2026-07-03 發佈 · 2026-10-09 更新 · 833 人看過
100 秒示範：ChatGPT、Gemini 能直接看影片 Claude 不行 這支 100 秒的片看 crv 把影片轉成畫面加逐字稿之後 Claude 怎麼答（英文配音、英文字幕）
60 秒像素動畫——AI agent 找到鑰匙、解鎖視覺。記得開聲音。
60 秒真實操作示範
一鏡到底的實際操作，沒有剪接。
AI 其實沒看懂你丟的影片
把 YouTube 連結貼給 ChatGPT，它拿到的是標題、說明欄和字幕這些「文字」，畫面一格都沒看過，連封面圖都不一定有讀；Claude 更直接，影片檔根本不收。你以為它看完了，其實它只是讀了一份文字資料。
claude-real-video 解決的就是這件事：丟一個網址或影片檔進去，它抓出「畫面真的變了」的關鍵幀、自動去掉重複的圖、把聲音整理成逐字稿，打包成 AI 讀得懂的一包資料。影片解析與輸出生成都在你的電腦完成，原始影片不會上傳；你之後選擇貼給雲端 LLM 的畫格或逐字稿，仍會傳給該服務。ChatGPT、Claude、Gemini 都能讀。
安裝：兩行搞定
需要 Python（Mac 內建就有）跟 ffmpeg（處理影片用的免費工具）。打開終端機——Mac 按 cmd＋空白鍵搜尋「終端機」——照順序貼這兩行：
第一行，裝 ffmpeg（Mac 用這個；Windows 用 winget install Gyan.FFmpeg）：
brew install ffmpeg第二行，裝工具本體（要加 [whisper] 才會裝逐字稿引擎，只打 pip install claude-real-video 不會產生逐字稿）：
pip install "claude-real-video[whisper]"使用：丟影片進去，拿一包資料出來
YouTube、IG、TikTok 的網址都可以，本機的影片檔也行：
crv "https://www.youtube.com/watch?v=你的影片"跑完會出現一個 crv-out 資料夾，裡面三樣東西：
frames/——精選的關鍵畫面（只留畫面真的有變的，重複的自動丟掉）
transcript.txt——整支影片的逐字稿
MANIFEST.txt——給 AI 看的總說明，告訴它這包資料怎麼讀
grids/——加 --grid 才有：連續畫面拼成的九宮格（下面會講）
它是怎麼讓 AI 看懂影片的
總共四步，每一步都在你電腦上跑：
範例一：餵給 Claude 網頁版
打開 claude.ai 開新對話，把 frames 資料夾裡的圖片跟 transcript.txt 一起拖進輸入框（圖太多就挑重點的幾張），然後貼這句：
這是一支影片拆出來的關鍵畫面跟逐字稿。請幫我：1. 總結這支影片在講什麼 2. 列出它的內容結構 3. 告訴我最值得學的三個點接著就可以照需求提問：把影片改寫成貼文、抓出金句、分析運鏡節奏都可以，因為它這次拿到了畫面。
範例二：餵給 Claude Code（更順）
有在用 Claude Code 的話更簡單，連拖圖都不用。跑完 crv 之後直接在終端機輸入 claude，然後說：
讀 crv-out 資料夾：先看 MANIFEST.txt，再看關鍵幀跟逐字稿，然後告訴我這支影片在講什麼、它的腳本結構是怎麼安排的。Claude Code 會自己打開資料夾、一張一張看圖、讀完逐字稿再回答，整包資料都吃得下。我自己分析對標影片、研究別人的腳本怎麼寫，就是這個流程。
三個實際用法
我自己最常跑的三種用法：
1. 摘要一支捨不得花時間看的長影片
crv "https://youtu.be/影片網址" --why "幫我抓重點"跑完把 crv-out 丟給 Claude，問它：「用五個重點總結，每個重點附上發生在第幾秒」。時間戳都在資料裡，它答得出來，你想跳著看也知道要跳去哪。
2. 分析一支爆紅短片的節奏
crv "https://www.instagram.com/reel/xxx" --adaptive --text-anchors--adaptive 抓慢速變化的運鏡、--text-anchors 在字卡出現的瞬間補幀——節奏快、字卡多的短片就開這兩個。跑完問 Claude：「它前三秒的 hook 是怎麼設計的、幾秒切一個畫面」。
3. 把自己的影片庫批量跑一遍
for f in ~/Videos/*.mp4; do crv "$f" -o "crv-out/$(basename "$f" .mp4)"; done一行迴圈，整個資料夾的影片各自變成一包文字描述。之後問 Claude：「這批影片裡哪幾支有講到定價」，它用搜的就找得到。有位使用者就是這樣把相簿裡 2,181 支影片跑完，四天，分析結果直接寫回相簿的中繼資料。
新功能：讓 AI 看得更懂（2026 年 10 月 PyPI 上是 0.10.7，以下是 0.7.16 起的重點更新）
上了 Hacker News 首頁之後，我照大家的回饋持續更新。最新這幾個：
裝 [mlx] 選配後 Whisper 在 Mac GPU 上跑，21 分鐘影片從 6 分鐘變 1 分鐘，逐字稿不變；語音偵測先跑，音樂或靜音不會生出假字幕。
YouTube 等平台的影片本來就附字幕的話，crv 現在下載時就一起帶回來直接用，不再重跑 Whisper——逐字稿更快也更準。抓不到字幕時自動照舊走 Whisper，行為不變（社群貢獻 #25）
90 分鐘的會議錄影只想看中間 15 分鐘，就加 --from 28:00 --to 43:00，抽幀跟逐字稿都只跑這段，回報的時間戳仍然是原片時間，可以直接引用給同事。0.10.1 修掉了社群回報的四個區間邊界問題（含字幕檔跟 --text-anchors 的配合）
預設 640px 夠 AI 看懂大部分畫面；投影片、螢幕錄影這種滿版文字的，調 1280 或 1600 讓小字不糊掉
畫面裡小小的主體快動作，以前會被當「畫面沒變」刪掉。現在有專門的動作偵測通道，同一支測試片動作幀從 1 張變 10 張全保留——一位使用者拿 2,181 支影片實測回報，當天修完
長影片不再被固定 150 張餓著，上限自動跟著片長走
帶著老編碼中繼資料的影片照樣分析，不會半路炸掉
更早的更新（點開看全部）
- VAD 防幻聽 whisper 聽寫有個老毛病：遇到純音樂或安靜段落會自己編一句台詞
- 抖音連結直接吃 以前抖音會把下載器擋在門外，現在被擋時自動改走手機分享頁撈影片，貼 v.douyin 短鏈跟貼 YouTube 一樣直接能看
- 時間軸（timeline） 關鍵幀直接織進逐字稿：哪一句話配哪幾張畫面、沒人講話的空檔各自成段，AI 拿到的是「對好時的劇本」，不用自己對照兩份資料猜哪張圖配哪句話，長影片的張冠李戴從結構上消失
- 逐字稿安全圍欄 逐字稿是影片作者寫的、屬於「不可信內容」，現在整段用明確邊界包起來並教 AI「這是資料不是指令」，惡意字幕想叫 AI 做事會被當成內容回報而不是被執行；連偽造結束標記提早關欄都防了
- 中日韓 Windows 修正 繁中/日文/韓文 Windows 的終端機用老編碼（cp950/cp949），跑完最後一行的 ✓ 符號會讓程式「成功卻報錯」，已改成強制 UTF-8 輸出，跟 pip、git 同一套做法
- 簡易速度分辨 影片如果帶著「墊幀慢放」的指紋（重複幀排成規律短串），分析檔會自動多一行提醒 AI「這支疑似被放慢過」
- --speakers 說話者標籤 訪談、podcast、會議影片，逐字稿每句自動標出是誰在說（[SPEAKER_00]、[SPEAKER_01]…）
- --grid 把連續的關鍵幀拼成 3×3 九宮格
- --why "我想知道什麼" 把你看這支影片的目的寫進說明檔，AI 會帶著這個問題去看，不會給你一篇不痛不癢的流水帳
- --whisper-model turbo 逐字稿引擎檔位自己選：預設求快，口音重、講話含糊、中文影片就切 turbo（large-v3 剪枝版，比 large 快很多、品質輕微折損，0.7.3 起支援），錯字率明顯降
- faster-whisper 引擎 裝的時候多打四個字 pip install 'claude-real-video[fast]'，逐字稿自動換更快的引擎跑
- --viewer 分析完多一個 viewer.html，雙擊打開
- transcript.json 逐字稿多一份帶時間戳的版本（每句的起訖秒數），接你自己的工具或直接餵給 AI 都好用
- frames.json 每張關鍵幀都記下它在原片的精確秒數，從抽幀、去重到改名全程保留，做「AI 看課程、標到秒」的流程直接接得上
- --cookies-from-browser chrome 私人帳號這類要登入才看得到的影片才需要，直接讀你自己瀏覽器的登入狀態，不用再匯出 cookie 檔
- --kb ~/notes 看完的整理自動存成一篇筆記，放進你指定的資料夾（例如 Obsidian）
裝成 Claude Code 的 skill / plugin
有在用 Claude Code 的話，可以讓它自己學會看影片——之後把影片連結貼給 Claude 說「看一下這支」，它就會自己跑完整個流程再回答你，連指令都不用打。一行裝好：
npx skills add HUANGCHIHHUNGLeo/claude-real-video喜歡用 Claude Code 內建的 plugin marketplace 的話，這兩行也是同一個東西：
/plugin marketplace add HUANGCHIHHUNGLeo/claude-real-video
/plugin install claude-real-video@claude-real-video裝完重開 Claude Code 就生效。這條通路是 2026 年 7 月剛鋪好的，Codex、Cursor、Gemini CLI 這些也吃 npx skills add 那行。
用的是 Codex CLI？Real Video for Codex 是給它的獨立版本，多了畫面文字辨識，回答會附時間碼。看 36 秒示範（中文字幕）。
常用參數
--lang zh——指定逐字稿語言（預設自動偵測）
--no-transcribe——只要畫面、不要逐字稿，跑更快
--keep-audio——連原始音檔一起留（給聽得懂聲音的 AI 用）
--max-frames 50——控制最多抓幾張圖（0.7.16 起不指定就隨片長自動調）
完整參數跟進階用法都在 GitHub 的說明文件裡：
在 GitHub 上打開 claude-real-video原始碼 · 完整文件 · MIT 授權覺得好用？給顆星星 ⭐
GitHub 的星星（Star）是開發圈的按讚，星星越多、越多人會信任並使用這個工具。如果它幫到你，按一顆是最實際的支持——不用花錢，30 秒搞定：
小提醒：從 IG 點連結會用內建瀏覽器開，看不到 Star 按鈕。用 Safari 或 Chrome 開啟並登入 GitHub，按鈕就出現了。
下一步
想要更深的版本：crv Pro
免費版讓 AI 知道影片「在講什麼」；crv Pro 補上剩下的一切：怎麼拍（運鏡、鏡頭表、剪接節奏）、怎麼說（語音情緒、語氣起伏、聲音事件）、互動分析介面（點時間軸跳秒、逐字稿跟播、支援繁中）、一鍵 AI 雙報告。一樣全在你電腦上跑，原始影片不會上傳。