皮影戏 benchmark 遭质疑:评分偏重边缘对齐,六模型无一复现
cloneofsimo · x · 2026-11-06
cloneofsimo 批评一个以皮影戏剪影为任务的模型基准设计存在多处可疑选择:
- 评分公式(55% IoU + 45% 边缘 F 值,再加镂空、手腕 RULA 工效学位置、偷看次数惩罚)显著偏重边缘对齐,而非人类感知相似度。
- 模型看不到评分系统(博客原文「The model never sees its score」),这使结果难以公平解读。
- 他认为所谓「blob 基线」其实是系统性对齐多条边缘的凸包覆盖,按合理的人类感知指标并不比模型差。
- 原博客也承认:模型的一步移动让剪影变好和变差的概率几乎相同,六个受测模型没有一个完整复现出图版,最好的也不到一块。
这是对 benchmark 构建方式的实质性方法论批评,提示「模型没解出来」与「评分函数偏置」两个问题容易被混淆。
所属事件:汤普森动物影板生成评测遭质疑，六大模型无一复现(3 条相关)→
「研究」频道最新
- 持续学习系统的数据质量关:反馈噪声与偏差如何毁掉模型 — goyalshaliniuk · 2026-11-13
- 持续学习 AI 系统的 7 大工程挑战：部署后仍要不断进化 — goyalshaliniuk · 2026-11-13
- 清华CoACT压缩Coding Agent观察输出:省33% token,成功率反升2个点 — 机器之心 · 2026-11-13
- 只改65行词嵌入,GPT-6 Astra让机器人「换种说法就失败」成功率74%→88% — 机器之心 · 2026-11-13
- CMU NLP 第 8 课：只保留 teacher 的 top token 可能逆转学生的学习信号 — CatAstro_Piyush · 2026-11-13
- dbreunig 长文拆解「权重空间编程」的工作原理 — dbreunig · 2026-11-13