Kelsey Tuoc 回应递归监督担忧：训练出问题就改数据与监控
KelseyTuoc · x · 2026-10-10
这是关于递归对齐监督的争论。@krishnanrohit 担心：错位模型可能通过训练和监控自己的后继模型来偏离人类意图，而人类无法判断它是否忠实地执行了这一过程。
Kelsey Tuoc 回应称这一常见反对意见(Scott Alexander 与 Yudkowsky 也提过)从未说服过她：假设 Fable 6 能在一定程度上识别自己被测试，部署后一旦它做出错误或恶意行为，人类会调整训练——从数据、RL 环境到监控——去捕获并修复问题，而这意味着 Fable 6.5 会……(原帖在此截断)。
所属事件:递归自我改进会失控吗？对齐可行性辩论持续升温(3 条相关)→
「漫话AGI」频道最新
- 黄仁勋:AI 从检索走向求解,算力需求将增长十亿倍 — rohanpaul_ai · 2026-10-17
- G7 拟演练 AI 攻击银行，State of AI 年度预测又中一条 — nathanbenaich · 2026-10-17
- 「AI 抢走初级设计师的工作?恭喜你,你现在是高级设计师,AI 是你的初级」 — soleio · 2026-10-17
- ohlennart 质疑「迭代式部署」：若 RSI 年增速超 50% 就等于变相加速 — ohlennart · 2026-10-17
- sama 点赞 Goodfire 新论：神经网络其实「已经是干净的」 — sama · 2026-10-17
- 从莱特飞行器到登月:回应对新技术的「这有什么用」式质疑 — georgemillo · 2026-10-17