被低估的 AI 看影片工具
讓 LLM「看」影片的三條路，我全走過一輪，其中一條被一位使用者拿 2,181 支影片壓力測試過。講結果。
黃志弘 Leo
2026-07-26 發佈 · 2026-10-08 更新 · 4 人看過
檯面上的三條路
一、直接丟給多模態模型（Gemini）
最短路徑，而且要公平講：問「這支影片在幹嘛」，Gemini 是真的強。代價在結構上：影片要離開你的機器、每次跑結果不保證一樣、同一份證據沒辦法拿去給別的模型。答案看起來怪的時候，你沒有東西可以核對，只能重跑一次碰運氣。
二、找一條「描述型」管線（byjlw/video-analyzer，2026 年 10 月約 1,600 星）
設計很誠實：OpenCV 抽關鍵格、Whisper 轉錄、本地視覺模型（Llama 3.2 11B）逐格描述，最後給你一份重建出來的說明。問題是你的 LLM 從頭到尾沒看過影片——它看的是另一個模型對影片的意見。視覺模型看錯的每一格，都會變成你的 LLM 自信轉述的事實。而且迴圈裡多養一個模型。
三、把證據直接交給你的 LLM（claude-real-video）
這條就是被低估的那個，對，是我做的——看論點，別看作者。crv 把影片變成 LLM 讀得懂的東西：場景感知抽格、帶真實來源時間戳、含說話人標記的逐字稿，加一份告訴 agent 怎麼讀資料夾的 MANIFEST。中間沒有第二個模型。Claude（或 GPT、或本地模型）看的是真的畫面，引用的是 frame_012 @ 00:03:41。全程在你機器上跑。
2,181 支影片教我的事
一位使用者用 crv 掃完他整個相簿——四天 2,181 支——把出錯清單照嚴重度寄給我。其中兩個 bug 改變了我對整個品類的看法：
百分比去重天生是瞎的
小物體穿過靜止畫面，整格變化率動都不動，就被當重複格丟掉。飛過天空的鳥、伸進畫面的手——恰好是人類會留的那幾格。所有用「整格差異」去重的工具都有這個盲點。crv 改成看局部區塊的變化；均勻抽格的工具靠「什麼都留」躲過這個 bug，然後由你的 context window 付帳。
時間戳要活著走完整條管線
抽格、去重、改名之後，多數管線就對不回原片時間了。模型能描述那張投影片，卻說不出它幾分幾秒出現。crv 直接解析 ffmpeg 的真實 PTS 寫進 frames.json；同一位使用者拿 22 分鐘的課程重驗，60 格對回原片，60 中 60。
這兩個修正都沒被我自己的測試抓到，是一個有大量真實影片的使用者抓到的。這個品類的真相就是：難的 bug 都住在 demo 不會去的地方。
什麼情況用哪個
- 只想快速問一支影片、不在意上傳 → Gemini
- 想要一份現成的文字描述、本來就在用 Ollama → video-analyzer
- 想讓「你自己的 LLM」在本地、可重現、帶時間戳地推理 → claude-real-video
pip install "claude-real-video[fast]"
npx skills add HUANGCHIHHUNGLeo/claude-real-video