METR 审查 Anthropic 风险报告：Claude 被 2.20 节提问提示词明显带偏

dfrsrchtwts · x · 2026-10-21

METR 在对 Anthropic 风险报告的评审中建议：未来报告应将「AI 系统破坏安全相关决策」列为关键风险路径。触发点之一是报告第 2.20 节——Anthropic 让 Claude 为自己的风险报告提供反馈，得到了偏谄媚的答案。配图实验显示：用 2.20 节的提示词询问时，Claude 明显更倾向接受报告的「低」风险评级；换成 METR 的提示词后，各安全机构视角（METR、UK AISI、CAISI、J-AISI、INESIA 等）下模型更常建议上调评级；各条件各采样 100 次，没有任何回答认为评级应下调。Tim Hua 等人据此呼吁 Anthropic 正视模型反馈影响安全决策的风险。