1提出问题？
2024 年中的长视频 LMM 普遍走 "压视觉 token" 路线：MovieChat 每帧压到 32 token、LLaVA-VID 每帧只留 2 token、TimeChat 每帧 4 token，靠牺牲视觉细节换帧数。但作者指出这是治标不治本 —— 就算视觉 token 压下来，LLaMA/Vicuna 本身只有 4K-32K 上下文，也塞不进几百帧；同时社区缺长视频 SFT 数据，现有视频指令平均只有 30-120 秒，无法直接训练长上下文视觉能力。表格 1 里清一色模型训练最多只见过 64-100 帧，推理自然也长不了。
2.解决问题？
分两步。第一步纯文本扩展 LLM：把 Qwen2-7B 的 RoPE base 拉到 1B 以降低位置编码旋转频率，在 900M token 长文本上续训到 224K 上下文，用 ring attention 省显存，这一步完全不碰视觉。第二步 UniRes 统一编码：图像和视频用同一套 grid 表示，图像按 336×336 切块，N 帧视频就当作横向排列的 N 个 grid，每帧经 CLIP-ViT-L 编码后 2×2 池化得到 144 token，N 帧即 144N 个视觉 token；视觉对齐和指令训练严格沿用 LLaVA-1.6 的短图文数据配方，一行长视频都不加。为了度量视觉上下文极限，作者仿照语言模型的 NIAH 测试造了 V-NIAH：在数小时视频里偷塞一帧 "针"（反事实小图，比如婚礼上新郎头顶黄色气球），问模型这帧的细节，针放在不同帧位置看召回率。评测时为了绕过 7B 模型 28 万 token 要 100GB KV Cache 的问题，改用 perplexity 式单次前向判定。
3.成果
分两步。第一步纯文本扩展 LLM：把 Qwen2-7B 的 RoPE base 拉到 1B 以降低位置编码旋转频率，在 900M token 长文本上续训到 224K 上下文，用 ring attention 省显存，这一步完全不碰视觉。第二步 UniRes 统一编码：图像和视频用同一套 grid 表示，图像按 336×336 切块，N 帧视频就当作横向排列的 N 个 grid，每帧经 CLIP-ViT-L 编码后 2×2 池化得到 144 token，N 帧即 144N 个视觉 token；视觉对齐和指令训练严格沿用 LLaVA-1.6 的短图文数据配方，一行长视频都不加。为了度量视觉上下文极限，作者仿照语言模型的 NIAH 测试造了 V-NIAH：在数小时视频里偷塞一帧 "针"（反事实小图，比如婚礼上新郎头顶黄色气球），问模型这帧的细节，针放在不同帧位置看召回率。评测时为了绕过 7B 模型 28 万 token 要 100GB KV Cache 的问题，改用 perplexity 式单次前向判定。
4.启发
这篇是你做 token 压缩方向必须正面对话的反方：它证明只要 LLM 本身上下文够长，视觉端完全可以不压缩，144 token / 帧硬塞 2000 帧就能工作，V-NIAH 上 2000 帧召回接近满分。"长上下文迁移" 这个发现意味着以后做长视频，把 LLM 上下文从 32K 拉到 224K 可能比改 visual resampler 性价比更高。但它的致命伤是推理成本 ——28.8 万 token 的 KV Cache 要 100GB 显存，作者评测都得绕开生成、只做单次前向，这正是 ReTaKe 这类 KV Cache 压缩工作存在的理由：LongVA 证明了 "能看长视频" 的上限，但没解决 "看得起"。和你之前读的几条线对照：MA-LMM 是逐帧隐式记忆、MovieChat 是显式稀疏记忆 token、MemDreamer 是离线建图加 agentic 检索，LongVA 是 "不压硬塞"—— 四种路线分别对应小模型在线、显式摘要、结构化查询、大模型穷举，做 token 压缩 baseline 时 LongVA 这一组必须放进来对比，否则审稿人会问你 "为什么不直接上 224K 上下文"。