Agent 科研的瓶颈是验证:这家公司用 e-values 防「假发现」

pierrelux · x · 2026-10-15

Carbonforge(@carbonforgeai)的 Pierre Lux 介绍他们的实践:把实验室闭环接入后,agent 已能端到端持续改进自家技术栈。但他指出,如今 agent 系统的瓶颈是验证——确认 agent 找到的究竟是真解决方案还是假发现,对代码和数学证明都一样。

为此团队在 harness 中内置了多个针对「假发现」的机制(如 EvidenceTree、经 MCP 网关与账本记录证据链),承认方案不完美:agent 理论上可以绕过 MCP 不留记录、甚至篡改账本本身,但都会在审计中暴露。公司首篇论文将在今年 12 月巴黎的 NeurIPS e-values workshop 上发表——e-values 支持随时有效推断与持续监控,特别适合被持续评估与审计的 ML 系统。

所属事件:CarbonForge 用 e-values 防止 Agent 科研自我欺骗(3 条相关)→

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →