1.提出问题?

RAG 和视频 agent 路线各有硬伤:

2.解决问题?

离线建库(一次):

  1. WhisperX 出带时间戳字幕 + 说话人标签;

  2. 每 30 秒一段抽 20 帧,GPT-4.1 写段描述(谁 + 说了啥 + 画面啥)+ UNITE 视觉嵌入;

  3. 实体两阶段凝聚:文本嵌入层次聚类(阈值 0.4)→ LLM 复查合并 / 拆分;同 speaker label 即使视觉变了也优先合并;每个实体对关联片段写聚焦描述(re-captioning,K1=20/K2=16);

  4. 连续相关段聚成场景、写场景摘要,再压出全局摘要 G̃。

在线查库:o3 开局只拿 G̃,循环里按优先级调 5 个工具 ——Global Scene Browse(粗定位)→ Segment Caption Search / Entity Search(文字检索)→ Segment Visual Search(视觉补漏)→ Visual Inspect(最多 50 帧做最终确认);prompt 硬规定 "数字 / 人名 / 关键视觉事实回答前必须 Visual Inspect 验证"。

HAVEN

3.成果

4.启发

  1. 它和 VideoARM 正好是 agentic 路线的两极:VideoARM 在线现看、零预处理;HAVEN 离线建四级档案。你综述里可以加一个维度 "预处理深度"—— 把 GPT-4.1 的贵调用挪到离线一次性做,在线只做便宜的检索和 50 帧确认,片库复用率高时成本明显更优。

  2. "说话人身份当跨镜头胶水" 是个可迁移的点子:视觉会被遮挡 / 切镜头毁,但 voiceprint 不会。你做医疗 / 手术录像场景时,靠 voiceprint 把 "主刀" 这个角色跨镜头串起来,比纯视觉相似度可靠得多。

  3. 附录 G 的 prompt 是教科书级别的 agent 工具路由:场景题先粗查、文字找不到再视觉搜、最后必须 Visual Inspect 验证、连续 3 次无果换工具 —— 这套优先级规则你自己写 agent 时可以直接抄。

  4. 三个可切入的缺口:① 库是静态的,建完不能根据新问题动态补;② 30 秒固定段粒度拍脑袋;③ speaker diarization 错了整个实体凝聚就错位。这三点都是现成的改进口子