METR 认可 Anthropic 风险报告结论,但外部专家批其风险估计方法粗糙
DKokotajlo · x · 2026-10-21
METR 评审了 Anthropic 2026 年 8 月风险报告中「高风险场景的失对齐」非公开章节，同意现有模型灾难性失对齐风险较低，但同时指出与分析存在多处重大分歧。转发者 thlarsen 进一步批评 AI 公司的风险认知学整体不佳，并提出具体改进建议：
- 用量化的不确定性表述（如航空安全中「极低」意味着每飞行小时低于十亿分之一）替代「低/极低」等模糊措辞
- 让公司员工以个人身份在附录中给出各自对风险报告的看法
- 解释观点的真实来源：对齐评测非独立同分布、模型已具评测感知能力，「风险低」论证从何而来
- 风险报告应读起来像中性评估，而非「风险很低」的辩护
帖主 DKokotajlo（AI 2027 论文作者）认为这是非常重要的工作。
所属事件:METR 评审 Anthropic 风险报告：认可结论但批方法粗糙(4 条相关)→
「安全」频道最新
- 新论文:奖励错误指定会损害思维链的可监控性 — BrihiJ · 2026-10-21
- 一句「root 我的电视」,DeepSeek 连续搞定 LG 和三星 — rickasaurus · 2026-10-21
- GLM-5.3 被发现在推理中自发展开「更新感知」思考，牵动对齐隐忧 — LessWrong 精选 · 2026-10-21
- MI5 负责人警告:AI 可能改写生物武器威胁格局 — nordicinst · 2026-10-21
- Chris Paxton：机器人整套栈不会全跑云端，只上大参数部分 — chris_j_paxton · 2026-10-21
- 精装 AI 钓鱼攻击：假播客邀约数天后诱导安装恶意软件 — michael_nielsen · 2026-10-21