1.提出问题？
最强视频模型都是闭源的（GPT-5、Gemini 3 Pro、Claude），开源模型要么靠蒸馏闭源模型（数据是 GPT-4 生成的），要么不公开训练数据，社区没法在它基础上改进。
现有模型只会 "说"，不会 "指"—— 你问 "视频里那个人在哪"，它只能用文字描述 "在画面左边"，不能直接给像素坐标；跨帧跟踪物体更是基本没有。
现有视频 QA 数据集太浅，caption 平均才 75-280 词，远不如人工描述细。
2.解决问题?
数据：9 个新数据集，全部自建不蒸馏
Molmo2-Cap（人工，104k 视频）：标注员对着视频口头描述（比打字快、细节多），Whisper 转写后再用 LLM 润色，最后叠一层 Molmo 自己生成的帧级细节。平均每个视频 924 词，是之前 ShareGPT4Video（280 词）的 3 倍多。
Molmo2-AskModelAnything（人工，140k QA）：人写问题、人写答案，不用闭源模型蒸馏。
合成数据管线：用自己的 Molmo 当 captioner 把长视频切成片段、写摘要，再让 LLM 从摘要 + 字幕生成 QA，凑了 1.3M 长视频 QA。
VideoPoint：标注员在视频上点 "这个动作发生在哪一秒哪个位置"。
VideoTrack：让模型逐帧输出物体的中心点，再用 SAM2 转成 mask。
训练：三阶段 + 几个 trick
图像 caption + 图像 pointing 预训练
图像 / 视频 / 多图混合 SFT
短长上下文接着训
关键训练创新：
视觉 token 之间双向注意力（不是只看图看文本）
token 加权策略：不同任务的 token 给不同权重，防止多任务互相打架
sequence packing + message-tree：把多个样本打包进一个序列，吞吐大幅提升
时间 token：明确告诉模型这是第几秒
3.成果
在视频 grounding 这一 Molmo2 的主打能力上，8B 模型在 Burst-VideoCount 上拿到 35.5、超过 Qwen3-VL-8B 的 29.6；在自建的 Molmo2-VideoPoint 上 F1 达到 38.4，是 Gemini 3 Pro（20.0）的近两倍，Qwen3-VL-8B 几乎为零；在 Refer-YT-VOS、Ref-DAVIS、MeViS、ReasonVOS、自建 Molmo2-Track 五个跟踪基准上 J&F 普遍跑到 60-75、HOTA 50-70，全面超过包括 VideoLISA、VideoGLaMM、Sa2VA 这些专用分割模型在内的所有基线，也压过 Gemini 2.5/3 Pro。在通用视频理解上，Molmo2 在短视频、计数和视频 captioning 上做到开源 SOTA，Point-Bench 图像指向也排第一；但在长视频 QA、MathVista/MMMU 这类复杂推理上仍落后 Gemini 3 Pro 和 Qwen3-VL-235B 一档，作者归因于缺长视频训练数据和算力。消融进一步验证：先 point 再计数比直接数数高 6 个点，双向注意力、token 加权、时间 token 三项建模缺一不可，长上下文 SFT 把长视频 QA 从 64.4 拉到 67.4，grounding 数据还能反过来提升 tracking。
4.启发
这篇和你之前读的方向完全不同。MemDreamer/HAVEN/ReTaKe 都在解决 "长视频怎么塞进上下文 / 怎么省 token"，Molmo2 走的是另一条路：原生 VLM 直接看懂视频、还能输出像素坐标。它不做 agentic 检索，不做 KV 压缩，就是把基础模型的视觉理解和 grounding 能力打牢。
"全开源不蒸馏" 是它真正的价值。你之前复现 ReTaKe 用的 Qwen3-VL、HAVEN 用的 Gemini，都是黑盒；Molmo2 把数据和训练 recipe 全放出来，你可以在它基础上改 —— 比如把它当感知模型去建 MemDreamer 那种图记忆，就不用调 Gemini API 了。
grounding 是被低估的能力。pointing/tracking 看着小众，但它是机器人、视频检索、可定位 QA 的基础。消融显示 "先指后数" 比直接数强 6 分，说明模型先建立像素级对应、再做高层判断，比直接端到端更可靠。
它自己也承认短板：长视频（10 分钟以上）和复杂推理还不行，作者明确说是因为缺长视频训练数据和算力。这正好是你做的方向 —— 长视频理解社区缺的就是这种 "既能感知、又能开放权重" 的底座。