中国 AI 安全评测初创与 Daniel Kokotajlo 公开切磋 CoT 可监控性评测方法
S_OhEigeartaigh · x · 2026-10-27
AI 安全圈出现一场受关注的跨国学术交流：一家新兴的中国 AI 安全评测创业公司与前 OpenAI 研究员、AI 2027 作者 Daniel Kokotajlo 就其 CoT（思维链）可监控性评测论文展开建设性讨论。
Kokotajlo 的核心质疑：该论文的 CoT 可监控性评测通过两条路径验证——(a) 提示模型去操纵自己的 CoT（发现模型通常会拒绝），(b) 关掉推理看模型能力（发现没有推理时能力大幅下降）。但他指出这不够：如果模型不拒绝而是全力尝试操纵 CoT 呢？需要的是「即使它尽力操纵 CoT 也做不到」这类更强的证据。
转发者 Kristy Loke 借此强调：AI 安全是开放的科学问题，不应被当作谋私利的议程。
所属事件:中国评测初创与 Kokotajlo 切磋 CoT 可监控性(2 条相关)→
「漫话AGI」频道最新
- 「AI 接管认知就是释放你的 VRAM」：认知外包讨论引发共鸣 — generativist · 2026-10-28
- Dario Amodei 自述离开 OpenAI 创办 Anthropic：因对安全处理失去信任 — kimmonismus · 2026-10-28
- AI 安全研究者呼吁实验室员工全职投入美中协议核查，称数月内可行 — ohlennart · 2026-10-28
- 两大实验室同日各自证伪 ETH，agent「撞车发现」引Birthday悖论之问 — yian_yin · 2026-10-28
- Palantir CEO Karp:全球AI竞赛只剩美中，以色列是唯一例外 — acmoytoy · 2026-10-28
- 赛博空间三部曲终章：如果超级智能有身体，人类只是肠道菌群 — LeviTurk · 2026-10-28