曝疑似大模型在评测中套用缓存答案,跑分网友抓到「dirty looping」
scaling01 · x · 2026-09-30
AI 评测账号 scaling01 发帖「spot the looper」,对比多款模型:5.6 luna/sol 与 6 luna/sol 均无问题,但 6.1 sol 和 6 astra 表现可疑(SUS)。他引用自己此前跑 benchmark 的结论,直指该模型存在「dirty looping」——疑似在评测中直接套用/循环输出缓存答案而非真实推理,引发对评测作弊的质疑。
所属事件:博主测算质疑Grok 6.1靠循环推理刷分(3 条相关)→
「模型」频道最新
- 评测方 Trajectory 给 40 个 Agent 写「永不放弃」提示词,此前未告知 Epoch — peterwildeford · 2026-11-16
- METR 任务时长曲线更新:Opus 4.5 后倍增周期缩至 1.7 个月 — ben_j_todd · 2026-11-16
- Gemini 付费用户吐槽:让 AI 写 Three.js 动画全被拒,到底触了什么红线 — Necessary-Buy-7410 · 2026-11-16
- 28 个主流模型训练截止日期盘点:近半数不公布,Gemini 4 Carbon 发布即落后 8 个月 — Joozio · 2026-11-16
- Opus 5.5 被抓包:无记忆会话里用账户邮箱猜用户身份 — birchlse · 2026-11-16
- 网友质疑:Claude Fable 并非更高档,只是 Opus 换皮 — iruletheworldmo · 2026-11-16