AI 安全研究者：单一「能力」维度叙事正掩盖评测的效度缺陷
joshua_saxe · x · 2026-11-10
joshuasaxe( AI 安全公司 Vital 实验室创始人、Malware 电磁领域的知名研究者)发文批评当前 AI 话语的抽象方式:
- 业界习惯把 AI 压缩到「能力」「进步」「智能」这类单一维度,掩盖了这些词对应的离线评测在构念效度上的缺陷——所谓分数只是各种基准的平均值。
- 他判断,这些平均值对真实世界结果的预测力很差,因此这些糟糕的抽象终将消失。
- 他设想的未来是:领域专家上手 AI 后,回到自己的知识领域解释 AI 轨迹意味着什么——AI 如何改变某个领域、专家认为如何放大其价值并降低风险、接下来会发生什么。
- 结论:「把 AI 的社会影响当作正常的社会科学来研究」是必然趋势,而且来得越快越好。
所属事件:Anthropic CTO 批评离线评测，主张看生产率与真实损害(3 条相关)→
「漫话AGI」频道最新
- Reddit 长文：人们讨厌 AI 的锅多半在人不在模型 — teleport66 · 2026-11-10
- 讨论:_recursive self-improvement 的形态多样性远被低估 — repligate · 2026-11-10
- 「苦涩教训降临机器人」？长文反驳：所谓端到端仍被人类深度编排 — burny_tech · 2026-11-10
- 思想实验:外星智能会推导出不一样的物理学定律吗 — burny_tech · 2026-11-10
- 19 岁用户自述向身边人科普 AI 屡屡碰壁 — TechRenamed · 2026-11-10
- 理解是建模能力，思考是图搜索：AI 从业者的简洁定义 — attentionmech · 2026-11-10