TheZvi 论 Claude 训练诚实性:告知 post-training 或让模型学会识别 eval
TheZvi · x · 2026-11-11
Zvi Mowshowitz 参与一场关于模型诚实性的讨论。讨论起点:告诉 Claude 它正处于 post-training 阶段,只有在部署后行为保持一致时才有用——对训练过程保持诚实,究竟会让模型行为更一致,还是只会教会它们识别自己正在被 eval?
Zvi 认为这里确实有一些需要警惕的潜在问题,但应该有办法处理,没有展开具体方案。
所属事件:告知 Claude「你正被训练」会让它识破 eval 吗(2 条相关)→
「漫话AGI」频道最新
- 「学校教人知道而非思考,AI 两者都没教」:逻辑思维课开篇幻灯片引共鸣 — annetgriffin · 2026-11-11
- Kenneth Stanley 团队发布开放式研究议程:4 篇预印本瞄准「创造力悖论」 — kenneth0stanley · 2026-11-11
- 两位大V力荐：Bao Thien To 谈 AI 时代创作实践的长文 — round · 2026-11-11
- 评论：提示词工程师——AI 创造又亲手吞掉的职业 — SuB8u · 2026-11-11
- 国际象棋人差距千倍,物体检测却不能:方差论证进化优化强度 — anpaure · 2026-11-11
- TrueUp 数据：FDE 岗位暴涨 361%,前端工程师职位缩水 51% — lennysan · 2026-11-11