Anthropic 发布 TASTE 基准：最佳模型判安全提案仅 60% 胜过人类 77%
ben_j_todd · x · 2026-11-13
Anthropic Alignment 团队发布 TASTE（The AI Safety Taste Evaluation）基准，测量模型判断 AI 安全研究提案优劣的能力，以资深人类研究者的偏好为标注，共 92 对提案，估计人类一致度 77%。
关键设计：两个选择对高质量基准很关键——
- 增加讨论阶段：研究者先讨论分歧再修订打分
- 只保留研究者自报「强烈自信」的标注
核心发现：
- 最佳模型 Fable 5 在标准设置下仅 60%，低于人类研究者的 77%
- 在来自不同 prompt 的 74 对提案上 Fable 5 达 69%，显示模型在同 prompt 提案对上过度关注「是否回答了动机问题」
- Opus 5 和 GPT-5.6-Sol 尽管在通用 agent 基准上是前沿水平，在 TASTE 上却接近随机
意义：若要自动化 AI 安全研究（当自动化研发速度超过风险缓解能力时可能必要），模型在「难验证」的研究评审环节仍不可靠，与人类表现存在明显差距，但作者认为未来模型有望缩小差距。
「安全」频道最新
- 盘点 10 个保护 AI Agent Skill 的开源项目,26% 公开 skill 有危险模式 — bibryam · 2026-11-13
- Cloudflare 开源 security-audit skill:让编码 Agent 自动做全仓安全审计 — bibryam · 2026-11-13
- Telegram 新 widget 引擎已现多个 RCE，macOS 可用 Santa 规则阻断 — banteg · 2026-11-13
- 纽约建 5500 万美元实验室预检 AI，英国拟获强制下架权 — YvesMulkers · 2026-11-13
- Claude Meetings 上线:会议变成 prompt,安全公司提示注入风险 — Aiden_Tech_Ai · 2026-11-13
- 路透调查：30 亿美元中国算力项目仍建在 Nvidia 受限芯片上 — Gregory_C_Allen · 2026-11-13