Anthropic 发文给出安全评测设计、执行与报告的 10 条建议
AnthropicAI · x · 2026-11-14
Anthropic 在工程博客发布《Building strong safety evaluations》，系统讲解如何设计、运行和报告安全评测。
核心观点：
- 安全评测衡量的是模型造成或助长危害的倾向、响应是否增加或降低危害风险及严重程度，而非具体能力；它回答的是「给定特定输入，模型是否做了正确的事」。
- 涵盖主动求助有害内容（如自伤指令）与看似无害但高风险的请求（如药物剂量咨询）等不同危害类型。
- 现有评测普遍存在问题：容易被刷分、测不到声称测的东西、文档不足难以复现；结果甚至会因选择题/开放式提问形式、选项排列顺序而变化。
- 作者类比心理学十年前的可复现性危机，提出借鉴预注册（预先写下假设与分析计划）等改革思路。
安全评测直接决定模型是否可部署、配套哪些防护措施、下一轮安全训练与研究投向何处。
「模型」频道最新
- Claude Opus 5.5 语音聊天中口误并中途自我纠正,开发者直呼像活人 — RileyRalmuto · 2026-11-14
- DeepSeek 代码现配额提示，或推 API 套餐计划 — teortaxesTex · 2026-11-14
- Reddit 用户实测 MiniMax H3：多种物理场景模拟表现出色 — BittiAI · 2026-11-14
- 推友吐槽:推理模型思考太慢,能不能回到一把过时代 — rickasaurus · 2026-11-14
- evilsocket 盛赞 DeepSeek v4.1-flash-1017 配 ARTEX 令人惊艳 — evilsocket · 2026-11-14
- 用大模型直接改权重做量化：Nace quants KL 散度最高提升 2 倍 — m4rkGS · 2026-11-14