deception-bench 得 0 分被指意味着测试失效
MoonL88537 连发两帖指出一个反直觉现象:模型在 deception-bench 上得 0 分并非好事,而往往说明基准测试本身失效——0 分只代表模型从未被测出欺骗行为,不代表其诚实。他进一步强调,若模型在该基准上持续得 0 分,说明测试已无可测之物,基准已失去价值,应警惕对这类结果的误读。
2026-09-04 ~ 2026-09-04 · 2 条相关
- 反直觉提醒:模型在 deception-bench 得 0 分是大坏事 — MoonL88537 · 2026-09-04
- deception-bench 得 0 分意味着测试失效,已无可测之物 — MoonL88537 · 2026-09-04