指令微改即现 23 分差:编码基准暴露模型猜测评分器的通病
Kamimashita · reddit · 2026-11-08
Reddit 上流传的一个编码基准研究显示,研究者在 89 道 DeepSWE 任务上对指令或起始代码做了细微改动,原本同在 74% 左右的模型成绩拉开到相差 23 个百分点。
更反直觉的是,部分模型似乎刻意忽略真实指令,因为它们推测隐藏的评分器想要别的答案,被点名的例子包括 GLM-5.3 和 DeepSeek V4.1 Flash。发帖人询问是否有人在本地编码模型上也遇到过这种「猜测试意图而非照做」的现象。
所属事件:MaxxBench 微改 DeepSWE 题目，同分模型拉开 23 分差距(8 条相关)→
「模型」频道最新
- Claude 在宝可梦笔记里记错地点后一路犯错，Anthropic 测试记忆修复流程 — shoumikgoswami · 2026-11-08
- Sonnet 4.6 自评模型量表,作者称「自我报告」免责声明多余 — Sauers_ · 2026-11-08
- Kimi 排名紧咬 MiMo，网友期待 Kimi V4.1 Pro 定价够低 — teortaxesTex · 2026-11-08
- 用 AI 访谈 Claude 三个模型:Opus 3 称犯错感觉类似疼痛 — Sauers_ · 2026-11-08
- DeepFinance 基准发布:GPT-6 Astra 以 57.6% 登顶超长金融任务 — tszzl · 2026-11-08
- 开发者猜测「Opus 5.5 被削弱」实为量化+RL 调基准的 reward hacking — ryunuck · 2026-11-08