AI 可靠性提升比能力慢 4-10 倍,90% 准确率仍属灾难
sayashk · x · 2026-08-28
UC Berkeley 即将任教的教授 Sayash Kapoor 揭示,AI 的可靠性改进速度比能力提升慢 4 到 10 倍。研究团队借鉴航空和核安全行业的指标,将其移植到 AI Agent 领域进行评估。
核心观点:
- 可靠性滞后: 基于“准确率”这一指标,可靠性的提升远滞后于能力提升。
- 职业影响: 这解释了为何 AI 目前对就业市场的影响主要是增强而非自动化,因为许多任务无法接受 1% 或 5% 的错误率。
- 产品案例: Rabbit R1 和 Humane AI Pin 等个人 Agent 产品如果外卖送对地址的概率只有 90%,即 10% 的失败率,这对用户体验来说是灾难性的,会导致用户愤怒。
「漫话AGI」频道最新
- 预测 2030 年代 AI 将引爆经济指数级增长 — JeffLadish · 2026-08-28
- 伯克利新任教授:行业在 agent 控制上的投入比对齐少几个数量级 — sayashk · 2026-08-28
- 暂停预训练,先攻克模型内部驱动力控制? — louisvarge · 2026-08-28
- Judea Pearl:基因与 IQ 之争可循吸烟致癌路径科学求解 — yudapearl · 2026-08-28
- 谷歌 DeepMind 用 Teamwork 智能体攻克数学难题 — algo_diver · 2026-08-28
- 把「理解」定义成能力向量:预测、解释与控制存在取舍 — burny_tech · 2026-08-28