知行札记

长视频Benchmark

HourVideo：1小时视频语言理解

斯坦福团队（李飞飞组）提出的小时级视频 - 语言理解基准。从 Ego4D 中精选 500 个第一人称视频（时长 20–120 分钟、平均 45.7 分钟），配套 12,976 个高质量五选一问题。零样本评测显示：GPT-4V（25.7%）、LLaVA-NeXT（22.3%）只比随机猜测（20%）略好，最强的 Gemini 1.5 Pro 也只有 37.3%，而人类专家达 85.0%—— 长视频理解与人类差距巨大。

综述

MVBench：一个综合的多模态视频理解基准

面向多模态大模型的视频理解综合评测基准，包含 20 个任务。

综述

多模态大语言模型的高效令牌压缩调查

多模态大模型 Token 压缩方法综述，回答 "视觉 token 太多怎么省"。

综述

视频基础模型

视频基础模型（ViFM）综述，重点讲自监督预训练，尤其是掩码重建类方法。

综述

从秒到小时：评测多模态大型语言模型对长视频理解的表现

聚焦 "长视频理解" 的多模态大模型综述，核心贡献是提出时间推理粒度的分层框架。

综述

基于大语言模型的视频理解综述

第一篇系统梳理 "用 LLM 做视频理解" 的综述，提出统一分类框架，并汇总了视频理解任务、数据集和评测指标。

长视频Benchmark

LVBench：一个极端长视频理解基准

针对极端长视频（平均 68 分钟）的评测基准：103 个视频（共 117 小时）+ 1,549 道专家人工标注题，提出六大核心时间理解能力框架

长视频Benchmark

LONGVIDEOBENCH：一个用于长上下文交错视频-语言理解的基准

提出 referring reasoning（指称推理）任务 + 长视频交错理解基准：3,763 个视频（最长 1 小时）+ 6,678 道人工标注多选题 + 17 个细分类别

长视频Benchmark

Video-MME：首个多模态大语言模型视频分析综合评测基准

首个全频谱（full-spectrum）多模态视频理解评测基准：900 视频、2700 道人工标注多选题

长视频模型

VideoARM：针对长视频理解的层级记忆代理推理

VideoARM 是一个不训练、纯 API 拼装的长视频理解 Agent。它不把整段视频压成 token 喂给大模型，而是让控制器（OpenAI o3）像侦探一样，围着用户的问题粗到细地按需观看：先全局扫一眼定位大致区间，再凑近可疑区间细查，边看边把证据写进一个三层记忆库（HM3），最多循环 10 轮就给出答案。视觉分析用 GPT-4o、声音用 whisper-1，全程零训练。

2026CVPR最新

长视频模型

LLaMA-VID：在大型语言模型中一张图片值两个标记

LLaMA-VID（港中文 + SmartMore，2023.11）解决的是视觉语言模型处理长视频时 token 爆炸的问题。核心主张就一句话："一张图只值 2 个 token"—— 用两个互补的 token 代表每一帧：Context Token（上下文 token）根据用户的问题去画面里 "抓重点"，Content Token（内容 token）保留整帧的视觉信息。视频输入时每帧只用 2 个 token，从而让现有的 LLM 直接支持小时级（3 小时以上）视频对话；单张图像时则多留 content token 保细节。在视频和图像两大类基准上全面超越。

长视频模型

MovieChat：从密集令牌到稀疏记忆的长视频理解

MovieChat（浙大 + 华盛顿大学 + 微软亚研，2024）是第一个能处理超过 1 万帧（约 30 分钟以上）长视频的多模态大模型框架。核心思路是：把心理学里的 Atkinson-Shiffrin 人类记忆模型搬进 Transformer—— 用 token 当记忆载体，设一块短期记忆（装当前正在看的帧）和一块长期记忆（沉淀整部视频的摘要），短期记忆满了就把冗余帧 "合并压缩" 进长期记忆。配套还发布了 MovieChat-1K 基准（1K 部长视频 + 14K 条人工标注），是目前最早的长视频理解基准之一。