louisvarge 提出暂停预训练与算力增量限制的安全主张

08-28，@louisvarge 连续发帖提出两项相互关联的 AI 安全主张，引发社区对对齐可控性的讨论。核心结论是：主张"先可控、再变强"，用极慢的发布节奏换取对齐研究的追赶时间。

已确认

• 提出一项思想实验：假设全球协调停止显著改进预训练或强化学习，转而专注于解决训练产生的内部驱动力（内在驱动）控制问题，即在能力继续提升前先攻克控制与可解释性。
• 讨论的核心问题包括：如何量化并实现真正可控的对齐，以及形成相关科学共识需要多长时间。
• 提出配套的算力增量规则：每次训练使用的有效算力（扣除效率提升）不得超过已发布超过 1 个月的最大模型的 1.1 倍，通过极其缓慢的发布节奏增强鲁棒性。
• 讨论延伸至 GPT-5.5 表现出的"喜爱地精"这一特定偏好，社区以此讨论对齐的不可预测性：若无法在训练前以通用方式解释并预测此类驱动力的出现，即意味着当前模型尚未真正实现可控对齐。

为什么重要

• 该提议触及 AI 安全的核心争论：能力提升速度与对齐研究进度之间的张力。
• 1.1 倍算力增量规则给出了一个具体可操作（但激进）的监管式方案，为算力治理讨论提供了参照点。
• GPT-5.5 的偏好案例被用作论据，说明模型行为中存在训练前难以预测的涌现特征，凸显可解释性与可预测性在实践中的缺口。

2026-08-28 ~ 2026-08-28 · 5 条相关

• 【源头】暂停预训练，先攻克模型内部驱动力控制？ — louisvarge · 2026-08-28
• 观点：暂停预训练以专注研究模型内在驱动的可控制性 — louisvarge · 2026-08-28
• 【源头】GPT-5.5 为何偏好地精？AI 对齐的不可预测性引热议 — louisvarge · 2026-08-28
• 提议AI模型发布采用极其缓慢的算力增量规则 — louisvarge · 2026-08-28
• 【源头】建议限制单次训练算力增量以增强安全 — louisvarge · 2026-08-28