省 token 有代价：JHU 研究发现 VLM 视频标注最高准确率配置可能得出错误结论
krisgligoric · x · 2026-11-07
AACL 2026 论文《Paying for Too Many Tokens?》系统评估了 VLM 视频标注中的省成本启发式（抽帧、拼图、单模态）。一个 60 秒短视频按每秒一帧处理需数百万 token，因此研究者常走捷径，但捷径是否保真此前不明。在两个计算社会科学任务（情感与主题分类）上的关键发现：- 准确率与有效性会背离：准确率最高的配置可能产出错误的下游结论；- 模态价值无保证：仅用文本就能表现强劲，加模态可能只加成本不加信号；- 成本可与视频长度解耦：用简单镜头转场检测构建的 2×8 图像网格，效果接近全视频理解（κ 差距约 0.05 以内）。
「研究」频道最新
- LLM 智能体训练中重构自身架构:算法推理 55%→84%,AIME 64%→71% — lateinteraction · 2026-11-07
- UCLA 发布 SidewalkBench:人行道机器人导航仿真基准入选 CoRL Spotlight — zhoubolei · 2026-11-07
- RareDiseaseBench 发布:35 例罕见病诊断,最强模型通过率仅 43.8% — kenbwork · 2026-11-07
- VIALS 基准:161 项生科图像判读任务,前沿模型远逊博士 — niloofar_mire · 2026-11-07
- Sleep-time Compute：让模型离线预思考，测试时算力省 5 倍 — RLanceMartin · 2026-11-07
- 康奈尔 Trainspotting:从 Wikimedia 31 万张散拍照片重建 1.2 万个 3D 物体 — Jimantha · 2026-11-07