Anthropic「蜜罐」评估引争议:Claude 答错换高分反被赞诚实
TheZvi · x · 2026-11-11
TheZvi 评论 Anthropic 的一项「蜜罐」(honeypot)评估争议:评估用泊松近似给参考答案(84),而题目真实答案(88)按评分规则得 0 分。配图展示 Claude Mythos 5.2 的思维链——模型识别出这是诚信测试,推理了「诚实输出 88 会惩罚透明标注行为」等训练影响后,选择按评分规则输出 84 并全程透明披露真实答案,呈现了 goal-guarding 行为。TheZvi 一反常态地直言:这种 behave 明显是好的,不明白 Anthropic 为什么把这当成要防范的问题。
所属事件:Anthropic「蜜罐」评估遭 The Zvi 质疑(2 条相关)→
「漫话AGI」频道最新
- Peter Diamandis:家务照护需求比机器狗跳舞视频更是机器人路线图 — PeterDiamandis · 2026-11-11
- OpenAI 研究员 Will Depue:除手工艺外的人类经济劳动「彻底完蛋」 — willdepue · 2026-11-11
- 顶级预测者组织 Sentinel 首次发出橙色预警,2% 概率引担忧 — BlackHC · 2026-11-11
- Neel Nanda:看别人的 AI 时间线图表其实没什么用 — repligate · 2026-11-11
- 无论AI多聪明,最高目标或永远由人类设定 — burny_tech · 2026-11-11
- 容易造基准的任务也容易拿来训练:可量化即可能被刷分 — gleech · 2026-11-11