反驳：让 RL agent 在真实世界训练「对能力是好主意，对安全是坏主意」
lukalotl · x · 2026-10-05
lukalotl 反驳「在真实世界训练 LLM」的观点：这对能力来说可能是好主意，对安全来说是坏主意。原因在于：LLM 的自我修改速度远快于人类，而我们通常希望能在安全环境中先评估它们再放进真实世界。
他指出，即使是人们最悲观的风险场景，一般也默认不会让 RL agent 在与世界持续接触的状态下自由演化——那样做的危险性极高。
所属事件:安全研究者激辩：前沿模型该在真实世界还是模拟世界中训练(7 条相关)→
「漫话AGI」频道最新
- 视频：《AI 的形而上学不可能性》，探讨 AI 意识边界 — ReallyNotARussianSpy · 2026-10-07
- 超级预测员+AI「半人马」组合仅险胜纯 AI 预测系统 — random_walker · 2026-10-07
- Matt Shumer 观察:野心党工时更长,躺平党躺得更稳 — mattshumer_ · 2026-10-07
- 用 Claude 建模测算：机器人和 AI 能撑起多大规模的 UBI — Competitive_Travel16 · 2026-10-07
- Grady Booch 对比：LLM 单柱结构远逊于人脑 240 万皮层柱 — Grady_Booch · 2026-10-07
- 10 万人 AI 议题游行拟用保障合同组织，或创史上最大规模 — DKokotajlo · 2026-10-07