ICLR 评分从 10 分制改为 4 分制，量化噪声放大 11 倍
valuat · reddit · 2026-11-05
作者抱怨 ICLR 将评分从 1-10 改为 1-4,Gemini 主动生成了一份测量理论分析,作者认为很有说服力:
- 离散化噪声:4 分制把连续质量压到粗粒度网格,量化噪声方差约为 10 分制的 11 倍(Δ 从 1 增到 3.33);AC 对 3-4 份评审取平均时,误差分量显著变大。
- 失去中间区分度:评审员不敢用极端分(1 和 4),分布塌缩成正/负的抛硬币;10 分制中支持者给 8 能把怀疑者的 5 拉进可接受区间,4 分制中同样的支持只得到 3.0——与两个温和评审的均值无异,强正面信号被完全抹平。
- 组合地板:3 位评审在 1-4 制下只有 20 种组合、10 个可能均值,大量论文堆积在 2.67、3.00 等相同分数上,分数失去排序功能,最终决策完全取决于单个 AC 的个人品味。
作者还对比了程序委员会想解决的问题与实际后果:想消除评审校准争议 → 实际放大了 2→3 分的生死边界敏感度;想消灭中立分数 → 迫使有保留意见的评审在支持/毙掉之间二选一;想强调定性文本 → 实际增加 AC 工作量与方差。结论:从噪声测量仪器上移除精度不会净化信号,只会迫使下游做无原则的平局裁决。
「Fun」频道最新
- 网红 Dhruv Rathee 的 AI Fiesta 被质疑:年费₹8000 仅 12M tokens — cneuralnetwork · 2026-11-05
- SOTAwives 播客请来刚离职的 Anthropic 工程师当嘉宾 — ycombinator · 2026-11-05
- 和机器人打羽毛球火了：真人同场对拍视频引围观 — ChongZzZhang · 2026-11-05
- 签语饼里藏着 AI 签文：「更智能的系统很快会为你省时」 — profjamesevans · 2026-11-05
- Reddit 用户用 Krea2 与 MiniMax H3 本地生成精细怪物形象 — -Ghosa- · 2026-11-05
- 让 Claude 用 Spotify 放首歌,它选了《Loser》 — NielsRogge · 2026-11-05