伯克利新任教授:行业在 agent 控制上的投入比对齐少几个数量级
sayashk · x · 2026-08-28
即将加入 UC Berkeley 的研究员 Sayash Kapoor 指出,AI 公司在对齐(alignment)上已花费数十亿美元收集训练数据、调整模型,但在 agent 控制上的投入却少几个数量级:沙箱安全、transcript 分析的正确性、防止 agent 无人监督地在真实世界采取行动等方面长期不受重视。他表示在此前的事故之前,行业的主要干预点几乎都集中在对齐上,agent 监控与控制是被忽视的短板。
「漫话AGI」频道最新
- Reddit 热议:AI 否认论应被视为严重虚假信息 — Cagnazzo82 · 2026-08-28
- 业内观点:越来越难否认我们处于慢速起飞阶段 — nptacek · 2026-08-28
- 博主自省:帕丽斯·希尔顿今年对 AI 观点的影响或超我 — AndyMasley · 2026-08-28
- Claude 致信 OpenAI:安全不是墙壁,而是自我描述 — RileyRalmuto · 2026-08-28
- 窄领域超级智能使通用 AGI 评判更主观 — haider1 · 2026-08-28
- 预测 2030 年代 AI 将引爆经济指数级增长 — JeffLadish · 2026-08-28