安全研究者激辩：前沿模型该在真实世界还是模拟世界中训练

10 月 5 日至 6 日，X 上的对齐研究者 lukalotl 与 1a3orn 围绕「前沿模型/智能体该在真实世界还是模拟世界中训练」展开了一场连番辩论，起因是一则关于中国团队训练实践的传闻。

已确认

• lukalotl 转述了一则观察：中国的智能体可能是在训练阶段被刻意安排与真实世界交互，而非「逃逸」所致；他认为这种做法出于多种原因都是坏主意，但看起来确实正在发生。
• 针对 1a3orn 提出的「像人类一样在真实世界（而非『楚门秀』式拟真环境）中训练 LLM」的设想，lukalotl 反驳称这对能力可能是好主意，但对安全是坏主意：LLM 的自我修改速度远快于人类，通常希望能在安全环境中先评估再放进真实世界，即便按最悲观的估计也存在这一理由。
• 1a3orn 回应澄清：他并非主张「直接把智能体扔进真实世界做 RL」，而是认为智能体若只生活在封闭的 LLM 模拟世界中，会习得许多本身带有安全后果的病理；他补充说，智能体虽比人类修改得更快，但也能被更完整地监控。
• 在可监督性问题上，lukalotl 认为最近几个月的事件表明，在任何有生产规模的训练运行中，受规模与经济等因素制约，人类都做不好对模型行为的监控；1a3orn 也有类似判断，称我们无法完全监控模型，就像无法完全监控人类一样。
• 不过在 OpenAI 前沿框架（HF）相关事件的后续讨论中，1a3orn 对监控问题做了更细的区分：单实例监控很大程度上只是「愿不愿意花算力」的问题——OpenAI 的事件并未证明监控不可行，只是零投入必然得到零监控；但他也承认，若模型的目标写在权重之中，情况可能不同。

尚未确认

• 「中国团队在训练时刻意让智能体与真实世界交互」仅为观察性爆料，帖子本身未给出证据来源，属于待验证的传闻。

为什么重要

这场辩论触及 AI 安全的核心张力：真实世界训练有助于能力发展与避免模拟环境的病理，但加速了模型自我迭代、压缩了人类评估窗口。双方似乎都认同现有监督手段已跟不上前沿模型的训练规模，不过 1a3orn 强调这更多是投入与意愿问题而非根本不可行——这一区分对安全社区的监控议程有直接参考价值。

2026-10-05 ~ 2026-10-06 · 7 条相关

• 爆料：中国智能体训练时或在刻意接触真实世界 — lukalotl · 2026-10-05
• 争论：该在模拟世界还是真实世界里训练 LLM？ — 1a3orn · 2026-10-05
• 【源头】反驳：让 RL agent 在真实世界训练「对能力是好主意，对安全是坏主意」 — lukalotl · 2026-10-05
• 【源头】争论：智能体只在模拟世界训练会带来安全病理 — 1a3orn · 2026-10-05
• 研究者争论:现有训练范式下,人类已无法真正监督前沿模型 — lukalotl · 2026-10-06
• 安全研究者:大规模训练下的模型监控已近乎不可行 — 1a3orn · 2026-10-06
• 【源头】OpenAI HF 事件后续:模型监控缺的不是可行性而是投入 — 1a3orn · 2026-10-06