POPE评测暗坑：读取协议差一个token，VLM幻觉成绩虚高6.13个F1点
Kesav Kumar Jayakumar · hf · 2026-10-20
一项入选 NeurIPS 2026 VLM4RWD workshop 的系统性审计发现，POPE 幻觉基准的 yes/no 读取（readout）协议严重混淆评测结果：
- LLaVA-1.5-7B 在 9000 条贪心回答中从未生成过传统两 token 读取所比较的 yes(3582)/no(1217)，实际总是输出 Yes(3869)/No(1939)；换用基于分词器的八 token 读取后，同样答案在 POPE adversarial 上 F1 高出 6.13 点（0.7608→0.8221），模型行为完全没变。
- 调研的 6 篇论文中 5 篇报告的对抗集提升小于这一读取偏移，且无一注明所用 readout。
- 将 LLaVA 的 token ID 移植到 Mistral/Qwen 词表会得到 0.00 F1，说明混淆属于协议而非某个模型。
- 作者给出修复：从分词器推导 yes/no token 集合做 logit 读取，并建议评测时记录生成 token ID、在确切 prompt 模板下验证 token 集、发布预测级记录以便复核。
「研究」频道最新
- Conditional Program 压缩 LLM n-gram 查找表，存储省 75% 且保真度更高 — dnotitia · 2026-10-20
- 消融实验显示领域区分设计可贡献最多 3.7 分 agent 性能 — morgymcg · 2026-10-20
- 独立研究者把文档藏进冻结 72B 模型的「物理记忆卡」，SSD 存取可复现答案 — Nearby_Indication474 · 2026-10-20
- 系统性梳理 9 个前沿模型的 Vision Encoder 设计差异 — liuziwei7 · 2026-10-20
- continuous control 中 critic-only RL 势头渐起，新论文扩展 GQN 工作 — m_wulfmeier · 2026-10-20
- AIPOCH 开源 Open-Science：给 AI 研究装上可溯源审计链 — rohanpaul_ai · 2026-10-20