知行札记

长视频Benchmark

HourVideo：1小时视频语言理解

斯坦福团队（李飞飞组）提出的小时级视频 - 语言理解基准。从 Ego4D 中精选 500 个第一人称视频（时长 20–120 分钟、平均 45.7 分钟），配套 12,976 个高质量五选一问题。零样本评测显示：GPT-4V（25.7%）、LLaVA-NeXT（22.3%）只比随机猜测（20%）略好，最强的 Gemini 1.5 Pro 也只有 37.3%，而人类专家达 85.0%—— 长视频理解与人类差距巨大。

综述

MVBench：一个综合的多模态视频理解基准

面向多模态大模型的视频理解综合评测基准，包含 20 个任务。

综述

多模态大语言模型的高效令牌压缩调查

多模态大模型 Token 压缩方法综述，回答 "视觉 token 太多怎么省"。

综述

视频基础模型

视频基础模型（ViFM）综述，重点讲自监督预训练，尤其是掩码重建类方法。

综述

从秒到小时：评测多模态大型语言模型对长视频理解的表现

聚焦 "长视频理解" 的多模态大模型综述，核心贡献是提出时间推理粒度的分层框架。

综述

基于大语言模型的视频理解综述

第一篇系统梳理 "用 LLM 做视频理解" 的综述，提出统一分类框架，并汇总了视频理解任务、数据集和评测指标。

长视频Benchmark

LVBench：一个极端长视频理解基准

针对极端长视频（平均 68 分钟）的评测基准：103 个视频（共 117 小时）+ 1,549 道专家人工标注题，提出六大核心时间理解能力框架

长视频Benchmark

LONGVIDEOBENCH：一个用于长上下文交错视频-语言理解的基准

提出 referring reasoning（指称推理）任务 + 长视频交错理解基准：3,763 个视频（最长 1 小时）+ 6,678 道人工标注多选题 + 17 个细分类别

长视频Benchmark

Video-MME：首个多模态大语言模型视频分析综合评测基准

首个全频谱（full-spectrum）多模态视频理解评测基准：900 视频、2700 道人工标注多选题

长视频模型

Video-XL

Video-XL（上交 + BAAI，2024.9）不走视觉端压 token 的老路，而是在 LLM 内部压 KV Cache：每隔一段视频插一个特殊 token VST，把这段视觉 token 的 KV 浓缩进 VST 自己的 KV，原视觉 KV 卸载掉；再按 CLIP 帧间语义相似度动态切间隔（信息密集段切短、稀疏段切长）。训练用课程学习从 2× 渐进到 16× 压缩，并用单图 / 多图 / 合成时序数据补长视频 SFT 缺口。最终单张 A100 跑几千帧，16× 压缩下性能保留 99%，MLVU/Video-MME/VNBench/VideoVista 多个长视频基准拿7B开源最好。

长视频模型

LongVILA

LongVILA（NVIDIA+MIT+UC Berkeley，2024.8）是一套算法 + 系统全栈长视频 VLM。算法上在 VILA 标准三阶段后加两步：先用纯文本把 LLM 上下文扩到 262K，再用自建 15292 条长视频指令做长视频 SFT；系统上提出 MM-SP 序列并行，先按帧切视觉编码器、再按 token 切 LLM，配合节点内 All-to-All、节点间 P2P 的二维通信，让 256 张 GPU 无重计算训到 2M 上下文。最终 VILA 从吃 8 帧扩到 2048 帧，6000 帧（超 100 万 token）大海捞针 99.8%，Video-MME 带字幕 65.1

长视频模型

LongVA

LongVA（NTU S-Lab，2024.6）指出长视频理解的真正瓶颈不在视觉 token 太多，而在 LLM 本身上下文太短。作者先用纯文本把 Qwen2-7B 上下文扩到 224K（RoPE base 调到 1B，900M token 长文本续训），再用 UniRes 把视频当成 "超长图" 逐帧编码成 144 token / 帧，视觉对齐只用图文数据、完全不喂长视频。结果推理时零样本吃下 2000 帧、20 万视觉 token—— 文本上学到的长上下文能力自动迁移到视觉模态，作者称之为 "长上下文迁移"。

长视频模型

MA-LMM

MA-LMM（Meta + UMD，2024 年 4 月）是最早把 "记忆库" 思路用到多模态大模型上的工作之一：不一次塞一堆帧给 LLM，而是像人一样一帧一帧看，把过去帧的视觉特征存在一个 memory bank 里，当前帧通过 cross-attention 直接回看整个历史。这样 LLM 每次只收到 32 个 token，而不是 N 帧 × 32 个 token。

长视频模型

Molmo2

Molmo2 是 AI2 + 华盛顿大学 2026 年 1 月发布的全开源 VLM 系列（4B/8B/O-7B），最大卖点是权重、数据、代码全部开源，而且训练数据不蒸馏任何闭源模型。它在开源模型里做到短视频 / 计数 / 字幕 SOTA，最突出的能力是视频像素级 grounding—— 不只是 "用文字回答"，还能直接输出 "第几秒画面哪个坐标"、跨帧持续跟踪一个物体。在视频 pointing 上 F1 38.4，超过 Gemini 3 Pro 的 20.0；视频 tracking 上 J&F 56.2，超过 Gemini 3 Pro 的 41.1。

长视频模型

MemDreamer

MemDreamer（蚂蚁 + 浙大，arXiv 2606.07512v2）是一个长视频理解框架，核心思想是把感知和推理解耦：离线用一个感知模型把视频流式处理成一张三层图记忆，在线让一个推理模型通过 7 个工具在图上做多轮 agentic 检索，而不是把整段视频塞进上下文。在 LVBench 上用 Gemini-3.1-Pro 跑到 90.7（人类专家 94.4，只差 3.7），推理上下文只要 5.9-6.3K token，比端到端全量输入小 40-124 倍。

长视频模型

ReTake：减少长视频理解中的时间和知识冗余

ReTaKe 是一个 training-free、即插即用的长视频 token 压缩方法，两个模块 DPSelect + PivotKV分别压两种冗余：DPSelect 在帧层面压 "时间冗余"（相邻帧重复），PivotKV 在 KV cache 层面压 "知识冗余"（LLM 自己注意力不关心的 patch）。它不改模型权重，挂在现有 VideoLLM（QWen2VL-7B、LLaVA-Video-7B）上，就能在固定显存里处理 8× 更长的视频（最多 2048 帧）。

长视频模型

用于长视频理解的在线视频代理工具

VideoXAgent 是一个纯在线、零预处理的长视频理解 agent：不做 query-agnostic 的整片解析、不预建索引，直接拿原始视频文件 + 用户问题，由 Orchestrator（默认 Claude-Opus-4.6）走 ReAct 循环，按需调用 70 个专家工具（VLM、DINO-X 检测、PaddleOCR、WhisperX、InsightFace、SAM2、CLIP、FFmpeg 等）取证据，凑够就答。

长视频模型

使用视听实体凝聚和自主搜索的分层长视频理解

HAVEN 是一个离线预建库 + 在线 agent 查库的长视频理解框架。它不像 VideoARM 那样问题来了才在线抽帧，而是先离线把整部片子解析成一个四级金字塔档案库（全局摘要→场景→30 秒段→规范实体），核心亮点是用 WhisperX 的说话人身份当 "胶水"，把跨镜头、跨遮挡的同一个人合并成一致实体；在线时由 OpenAI o3 当 planner，按 think→act→observe 循环调用 5 个检索 / 检查工具，最多 10 步作答。

长视频模型

VideoARM：针对长视频理解的层级记忆代理推理

VideoARM 是一个不训练、纯 API 拼装的长视频理解 Agent。它不把整段视频压成 token 喂给大模型，而是让控制器（OpenAI o3）像侦探一样，围着用户的问题粗到细地按需观看：先全局扫一眼定位大致区间，再凑近可疑区间细查，边看边把证据写进一个三层记忆库（HM3），最多循环 10 轮就给出答案。视觉分析用 GPT-4o、声音用 whisper-1，全程零训练。

2026CVPR最新

长视频模型

LLaMA-VID：在大型语言模型中一张图片值两个标记

LLaMA-VID（港中文 + SmartMore，2023.11）解决的是视觉语言模型处理长视频时 token 爆炸的问题。核心主张就一句话："一张图只值 2 个 token"—— 用两个互补的 token 代表每一帧：Context Token（上下文 token）根据用户的问题去画面里 "抓重点"，Content Token（内容 token）保留整帧的视觉信息。视频输入时每帧只用 2 个 token，从而让现有的 LLM 直接支持小时级（3 小时以上）视频对话；单张图像时则多留 content token 保细节。在视频和图像两大类基准上全面超越。

长视频模型

MovieChat：从密集令牌到稀疏记忆的长视频理解

MovieChat（浙大 + 华盛顿大学 + 微软亚研，2024）是第一个能处理超过 1 万帧（约 30 分钟以上）长视频的多模态大模型框架。核心思路是：把心理学里的 Atkinson-Shiffrin 人类记忆模型搬进 Transformer—— 用 token 当记忆载体，设一块短期记忆（装当前正在看的帧）和一块长期记忆（沉淀整部视频的摘要），短期记忆满了就把冗余帧 "合并压缩" 进长期记忆。配套还发布了 MovieChat-1K 基准（1K 部长视频 + 14K 条人工标注），是目前最早的长视频理解基准之一。