Paying for Too Many Tokens? Valid and Cost-Efficient Multimodal LLM Annotation with Simple Heuristics
Zhixi Zhu, Kristina Gligoric
cs.CV, cs.CL, cs.SI
2026-10-01
16 帧拼图让 VLM 视频标注只用 15% 的 token、κ 差小于 .05;但最准的纯文本配置会把回归系数算反,要靠 PPI 校正兜底。
用 VLM 给视频打标注,成本随帧数线性涨:一条 60 秒短视频按每秒一帧喂进去,就是两百多万 token。研究者的应对全是启发式:抽部分帧、把帧拼成一张网格图、或只用单一模态。这些做法散落在各处,没人系统比过:哪招真省钱?省下的钱会不会把下游结论带偏?
后一个问题在计算社会科学(CSS)里最要命。CSS 拿标注去跑回归、估类频率,目标是结论正确,不是分类准确率。此前对紧凑视频表示的评测停在 video QA 的准确率上,准确率和推断效度是不是一回事,没人验证过。
Johns Hopkins 团队在两个任务上做网格实验:MELD 情感分类(900 条《老友记》对话片段)和 TikTok 18 类话题分类(900 条视频,中位时长约 46 秒)。三个开关:
下游再叠一层 PPI(prediction-powered inference):用一小撮人工金标估计模型预测的偏差,修正全量数据上的统计估计,给出有效的置信区间。主模型 GPT-4o-mini,另测 Claude Sonnet 4.6、GPT-5.1、Grok 4.3,趋势一致。
分类准确率上,两个数据集给出相反排序:
| 配置 | MELD 准确率 | TikTok 准确率 |
| 纯文本 | .610(全场最高) | .713 |
| 最佳多模态网格 | .589(ShotT 4×4) | .834(Uni 3×3) |
| 纯帧 | .442 | .712 |
| 随机森林(embedding) | .507–.560 | .717–.718 |
换到效度轴,这套排序不好使了。MELD 上准确率最高的纯文本配置把负面情感的回归系数算反(β=-.43、p=.038,真值 +.27),还漏掉真实存在的中性情感效应;随机森林在正向情感上检出假显著(p=.039,真值不显著)。TikTok 上原始 LLM 把 funnyvideos 频率高估 5.7 个百分点(10.7% 对真值 5.0%),PPI 用 100 条金标校正后,18 个话题真值全部落进 95% 置信区间,该项误差降到 2.0。
成本轴:2×8 网格平均每条 47,665 token(约 $0.007),1 FPS 采样平均 227 万(约 $0.34),差 50 倍,最差差 500 倍以上,且网格成本被单图上限封顶,与视频时长无关。固定用 Gemini 时,单张 2×8 网格每条 2,332 token,对全视频输入的 15,774,只花 14.8%,准确率 .870,κ 与全视频理解相差不到 .05。两条成本线在约 9 秒处交叉,更短的视频用网格并不省。
这是评测型工作:拼图、镜头检测、PPI 全是现成件,新东西是把准确率、效度、成本三轴放到同一张桌上看,并给出可抄的决策流程。先在约 50 条 pilot 上测单模态够不够,对话情感这类任务纯文本就够,别为帧付钱;帧预算紧就用 shot-transition,镜头覆盖充足就用均匀采样;网格从最小可接受规格起步;最后留 100200 条金标跑 PPI,别拿裸模型标签做统计。
对任何拿标注跑回归、估频率的场景,最值钱的警告是:按 accuracy 选配置,可能正好选中会把推断带偏的那个。
作者自述:只有两个各 900 条的数据集,标签空间窄,只做单标签;金标本身有噪声,TikTok 的 hashtag 是创作者自写的,反映创作者意图而非内容本身,PPI 的效度保证只对这个参照成立;成本解耦依赖 API 当前的单图 token 上限,计费政策一变,14.8% 这个数就失效。
读下来另有几点。shot-transition 与均匀采样在两个数据集上差异都很小(MELD 最大差 .018,p=.177),「按镜头密度选采样策略」的建议证据偏弱;PPI 修的是总体估计,不修单条预测,个别类别校正后反而更偏(homedecor 从 -0.7 到 -1.8);全部结论建立在 12 分钟以内的视频上,更长的视频一张网格装不装得下,没有验证。