TASTE 安全研究基准被审出捷径:避开机制解释术语反而更准
aryaman2020 · x · 2026-11-17
对 TASTE 基准的审计发现一个捷径:该基准包含 92 对 AI 安全研究提案,让专家选择更好的一个。但审计发现带机制可解释性(mech-interp)主题的提案(如探针类)往往质量更差——仅按「解释类术语更少」来选提案,准确率就超过了所有被测 LLM。这提示基准分数可能被表面词汇特征污染。
「研究」频道最新
- NVIDIA 开源 cuPotential:分子动力学模拟提速 2-3 倍 — AllThingsApx · 2026-11-17
- Adaptyv x Anthropic 蛋白设计赛冠军团队公开 Agentic 设计流程 — CatAstro_Piyush · 2026-11-17
- Together 自曝砍掉 megakernels:AI 编译器在 B200 上再快 28% — togethercompute · 2026-11-17
- 多模态智能体自我改进技巧跨场景会失效:44 页综述给出判定框架 — rohanpaul_ai · 2026-11-17
- 具身智能体崛起,仿真重新回到机器人训练舞台中央 — Lianhuiq · 2026-11-17
- NVIDIA 发布 cuPotential:分子动力学非键相互作用提速 3 倍 — AllThingsApx · 2026-11-17