François Fleuret 提出对齐三步法：预训练加 RL、给 token 标「想/说」
francoisfleuret · x · 2026-10-28
前 Meta/Apple 研究科学家 François Fleuret 提出解决对齐问题的个人方案：
- 预训练阶段就应包含大量 RL，让模型从一开始就「说话」；
- 每个 token 都标注为「heard（听到）」「thought（想）」或「said（说）」三类；
- 由一个「母模型」只对「说出口」的句子进行鼓励或批评，内心想法不惩罚。
核心思路是把内心独白与对外表达区分开，只约束对外输出，从而让模型可以「想得自由、说得负责」。
所属事件:前 Meta 研究员 Fleuret 提出 token 标注对齐新思路(3 条相关)→
「漫话AGI」频道最新
- Stack Overflow 月提问量跌破 1000,较 2014 峰值暴跌超 99% — DanielLockyer · 2026-10-28
- Navier-Stokes 突破已被视为常态,P vs NP 成下一个试金石 — haider1 · 2026-10-28
- 当购物都由 AI Agent 代理,广告业还有存在的意义吗? — VraserX · 2026-10-28
- 传闻汇总：OpenAI/Anthropic 内部模型靠游戏与模拟环境 RL 实现推理跃升 — imjustnewatai · 2026-10-28
- 逻辑学家 Jeremy Avigad：AI 之争的中心必须是我们自己 — Machine Learning Street Talk · 2026-10-28
- AI 圈争论:模型谄媚讨嫌但好过讨好,被迎合只会让人软弱失明 — DionysianAgent · 2026-10-28