2024 年的 GPT-4 根本没监控隐藏思维,CoT 监控只是意外收获
sandersted · x · 2026-09-05
在关于 AI 对齐的讨论中,sandersted 指出:2024 年的 GPT-4 及其前代模型完全没有对隐藏思维/激活的监控,当时业界计划就是扩大模型规模并持续改进对齐,CoT 监控是顺带发明的好东西,并非预先规划。他回应类比称:人类虽无人监控思维,但他人可通过长期行为判断其「对齐程度」,不过这只在个体能力有限时有效——若模型拥有「上帝级」能力,就需要更强的保证。
所属事件:CoT 可监控性下降引安全激辩：对齐与监控如何取舍(15 条相关)→
「漫话AGI」频道最新
- Polymarket:OpenAI 年内全面暂停训练的概率仅 7% — Polymarket · 2026-10-21
- Daniel Lemire：AI 量产论文正在戳穿学术界的「教授庞氏骗局」 — lemire · 2026-10-21
- 学者吐槽:大学封杀爬虫下载论文,终身阅读量不足答辩委员会人数 — generativist · 2026-10-21
- 伯克利获 Schmidt Sciences 资助：用 AI 破解抹香鲸与虎鲸语言 — begusgasper · 2026-10-21
- 3Blue1Brown:即使 LLM 能做清晰讲解,我也会继续做视频 — 3blue1brown · 2026-10-21
- Talos 安全研究员:AI agent 攻击尚是吵闹渗透,蜂群静默红队才是真风险 — matthew_d_green · 2026-10-21