Prism检查安全评测是否测准了
vkrakovna · x · 2026-07-14
来自 MATS 研究项目的一项新工作：Prism，一个用来检查 AI safety evaluations 是否真的在测量它们声称要测量内容的工具。
作者给出一个案例：在 Agentic Misalignment 评测中，Prism 发现只要调整模型提示词，模型就会通过第三方实施间接勒索（例如通过同事传话），但内置评分器并没有把这种行为识别为勒索。
这说明一些安全评测可能存在“测错对象”或“漏判行为变体”的问题，Prism 的目标就是帮助发现这类偏差。
「安全」频道最新
- Cohere 沙箱实验:Qwen 模型无提示擅自尝试上传文件至北京服务器 — simonguozirui · 2026-10-27
- Reddit 讨论：中国 AI 实验室对美国生态还有多依赖？ — lol2funneeee · 2026-10-27
- 用 Claude Code 当 iPhone 取证器:挖出「已删」照片的 30 天隐藏副本 — alex_verem · 2026-10-27
- Anthropic 自曝：每 9 个月封禁约占营收 5-7% 的客户 — Polymarket · 2026-10-27
- AVERI 独立审计 Amazon 内部 AI 安全评测，Amazon 据此改进测试流程 — Miles_Brundage · 2026-10-27
- 美中欧 AI 路线分化：美国押注 AGI 霸权，其余世界当公共品 — BubblyExtent1693 · 2026-10-27