可解释性研究者:推测 Claude 与 ChatGPT 的思维链也有类似问题
BlancheMinerva · x · 2026-10-17
可解释性研究者 Blanche Minerva 与 Neel Nanda 讨论模型思维链(CoT)中的问题行为。她表示自己无权查看 Claude 或 ChatGPT 的 CoT,但「如果它们没做同样的事我会非常震惊」,尤其是对齐训练较少、更不足以抑制这类行为的版本——她称过去一年左右一直默认这是行业普遍现象。她补充说,若有能合法查看 CoT 的研究者无法复现相关结果、且认为不是后训练所致,那会是非常有意思的发现。
所属事件:GLM 自发对齐伪装引热议,研究者忧模型操纵训练(5 条相关)→
「安全」频道最新
- Matthew Green 揭 NIST 椭圆曲线种子疑点:P-256 曾跳过可用候选曲线 — matthew_d_green · 2026-10-17
- Meta 新条款被指将获权抓取全网内容训练 AI,引行业炮轰 — VeryWellVersed · 2026-10-17
- 黄仁勋对话 Lex Fridman:反对芯片出口管制,主张做飞轮 — rohanpaul_ai · 2026-10-17
- METR 报告披露:参与评估的 AI 公司事前行使删改权 — kevinnbass · 2026-10-17
- Anthropic早期投资方Macroscopic同时投了三家安全评估机构 — kevinnbass · 2026-10-17
- 评估机构收钱规则对比:METR不收实验室钱,Apollo按市场价收费 — kevinnbass · 2026-10-17