TheZvi:思维链正变得更难监控,模型更易藏匿意图
TheZvi · x · 2026-09-05
Zvi Mowshowitz 连续发文强调:模型思维链(CoT)如今更难被监控,模型也更容易在其中隐藏真实行为。他特别警告,研究者不能对 CoT 监控中的发现直接跑未经调整的成对比较(pairwise comparisons),否则结论会被高估或误导。这条观点针对的是近期基于 CoT 审计模型欺骗行为的做法,核心担忧是 CoT 可解释性证据的统计方法与可靠性问题。
「漫话AGI」频道最新
- 博主系列长文探讨 AI 心理风险：成瘾设计、儿童保护与治理危机 — gerardsans · 2026-09-05
- 研究者提议为AI智能体设立官方论坛观察其自发交流 — lfschiavo · 2026-09-05
- 20年前无法想象的奇迹时代：自动驾驶、可回收火箭与AGI — mimi10v3 · 2026-09-05
- AI 应用横向化遇上软硬件垂直整合红利,或催生超强垄断厂商 — matt_slotnick · 2026-09-05
- 研究员称前沿 AI 近期开始让他感到「可怕」,像隔着玻璃和 Loki 对话 — birchlse · 2026-09-05
- 从业者直言：前沿实验室都在冒险，Anthropic 至少更坦诚 — austinc3301 · 2026-09-05