去偏置选项长度偏好后,决策模型 Habermas Machine 分数反降
antoine_chaffin · x · 2026-10-29
作者对自己的决策模型做「选项长度偏置」去偏,结果在 Habermas Machine 基准上从 60 分掉到 45 分,低于「选最长」启发式(50%)。
背景:随机基线约 24%,说明该基准上「选最长」本身就是强启发式,模型此前部分靠长度偏置得分。
作者态度:人们可能因分数降低而忽视这个模型,但去偏并没有让模型变差,只是防止它在选项多加几个 token 时崩溃——分数与鲁棒性之间的取舍值得注意。
所属事件:LLM 评测被指存在选项偏置，去偏后模型分数反而下滑(3 条相关)→
「研究」频道最新
- 《自然》报道：生成式AI正渗入畅销小说写作 — TuhinChakr · 2026-10-29
- ICLR 审稿人晒评分:五篇全打 1 分,最低 2 分 — chhaviyadav_ · 2026-10-29
- kalomaze 质疑 hnet 基线:有效深度不匹配且未报 wall clock — kalomaze · 2026-10-29
- AVERT 研究启动：量化自动驾驶能否减少创伤 — zakkohane · 2026-10-29
- 结合蛋白设计只解释约 3% 临床失败，AlphaFold 类模型被高估？ — clarejtbirch · 2026-10-29
- 研究演示现「上下文分词」涌现行为,层级网络完胜传统分词器 — willdepue · 2026-10-29