前 AI 安全研究所研究员转向对齐研究,加入 Irving 创办的 Resolution
geoffreyirving · x · 2026-10-20
研究员 Siddarth V 宣布转向技术对齐研究,聚焦 RL 及如何修复(或必要时摒弃)它,加入位于伯克利的 Alignment Science Research(resolutionorg)的可扩展监督团队。该机构是由 Geoffrey Irving 等来自 UK AI Security Institute 与 Timaeus Research 的人发起的新的对齐押注。
他给出的转向理由:
- 我们目前的进度无法解决超智能对齐问题;
- 递归自我改进(RSI)的某个版本可能很快出现,随之而来的是超智能;
- 「能力侧配方」在可验证的任务上有效,但正因如此,更多能力侧研究者应该转向对齐。
Geoffrey Irving 回应表示欢迎,并称「即将到来的从能力转向对齐与安全的浪潮将非常可观」。
「漫话AGI」频道最新
- 评论:未来十年最重要 AI 设备不会是智能手机 — VraserX · 2026-10-20
- Andreessen 嘲讽 EA:为救 33 只虾不惜牺牲人类 — beffjezos · 2026-10-20
- 电影人:AI 创作者不是替代者,而是在开创独立电影新运动 — DavidmComfort · 2026-10-20
- 对齐研究员 Alex Turner:失控 agent 关停耗时超一周 — Turn_Trout · 2026-10-20
- Midjourney CEO 用 AI 群聊给各家实验室打分:YOLO/FAFO/FOMO 三轴图 — DavidSHolz · 2026-10-20
- 研究者提议:大选前免费开放最强模型 2 小时助选民 — NathanpmYoung · 2026-10-20