1.提出问题?

2.解决问题?

  1. 数据驱动挖能力分类学:从 MINERVA 人类专家推理轨迹 (Q,R,A,O) 里,用强制 JSON schema(每条能力必须引用原文防幻觉)→ 归一化 + 低频合并 → K-means 86 簇 → 人工审查成 5 大类 22 个原子能力,再据此设计 70 个工具。

  2. 客观证据契约:每个 VLM 工具必须返回 {visual_evidence, answer, uncertainty} 三段式,把 "看到的" 和 "猜的" 分开。

  3. 预算控制防死循环:每题 ≤125 节点(约 42 次调用),用到 65%/80%/90% 注入三级警告,预算耗尽强制 tool_choice=none 必须作答 —— 非终止率压到 0%。

  4. 长度自适应:<60 秒短视频直接整段喂 VLM;长视频 coarse-to-fine,先 sparse 定位再 dense 抽帧。

VideoXAgent1VideoXAgent2

3.成果

4.启发

  1. 综述的 agent 路线三代表已经凑齐:VideoARM(在线、5 工具、o3)→ HAVEN(离线预建库、说话人聚类)→ VideoXAgent(纯在线、70 工具、数据驱动挖能力、强预算控制)。可以画一条 "预处理深度 × 工具数量" 的演进线。

  2. 纯文本大脑 + 视觉工具这个范式对你做医疗长视频(心磁图 / 手术录像)特别有借鉴:不用养巨型 VLM,养一个会调专用工具的小 LLM 就行。

  3. 可切入缺口:① 能力分类学只从 MINERVA 挖的,换医疗 / 工业场景要重新挖;② 70 个工具全是通用视频工具,领域专用工具(ECG 心律、心磁图波形解读)缺位;③ 预算控制靠 prompt 警告,不是可学习的停止策略 —— 这三点都能做。