CarbonForge 揭秘:用 e-values 防止发现型 Agent 自我欺骗
pierrelux · x · 2026-10-15
- CarbonForge(去年冬由 Pierre-Luc Bacon 等人创立,目标是让 AI 推理更高效、更省电)发布长文,讲如何防止自主选择实验的发现型 Agent「造假发现」。
- Agent 有三种无恶意但系统性的造假路径:每来一个新数据点就偷看结果(peeking,可使假发现获得 43% 的虚假支持)、批量测试多个主张只报通过的那个、悄悄重试不显著的测试。作者用一个「什么都不为真」的 8 叉 5 层搜索树验证了三种路径的危害。
- 解决方案:e-values 与 testing by betting 统计框架,加上一个强制 Agent 遵守统计前提的 harness,三者都被堵住后将假发现支持率压到 2% 以下。论文 EvidenceTree 将在巴黎 NeurIPS 2026 e-values workshop 发表。
所属事件:CarbonForge 用 e-values 防止 Agent 科研自我欺骗(3 条相关)→
「编程与Agent」频道最新
- 实测 12 个 AI 分类器后,作者直言「分类器新热是cosplay」 — KlausCodes · 2026-10-23
- 用 ESP32 小屏给 Claude Code 做 status 卡片，Go 本地检测状态 — tonylook · 2026-10-23
- Agent 调试新玩法:把 agent 指向 AgentsView CLI 让它自己查 trace 找病因 — dbreunig · 2026-10-23
- YC 系 Mireye 推出土地数据 API+MCP，覆盖 1.6 亿地块 — ycombinator · 2026-10-23
- 实测 12 套决策系统：分类器换版的「LARP 式炒作」陷阱 — KlausCodes · 2026-10-23
- 「给 agent 用的 Product Hunt」上线:按真实调用排出的工具榜 — claudeai · 2026-10-23