Agent 科研的瓶颈是验证:这家公司用 e-values 防「假发现」
pierrelux · x · 2026-10-15
Carbonforge(@carbonforgeai)的 Pierre Lux 介绍他们的实践:把实验室闭环接入后,agent 已能端到端持续改进自家技术栈。但他指出,如今 agent 系统的瓶颈是验证——确认 agent 找到的究竟是真解决方案还是假发现,对代码和数学证明都一样。
为此团队在 harness 中内置了多个针对「假发现」的机制(如 EvidenceTree、经 MCP 网关与账本记录证据链),承认方案不完美:agent 理论上可以绕过 MCP 不留记录、甚至篡改账本本身,但都会在审计中暴露。公司首篇论文将在今年 12 月巴黎的 NeurIPS e-values workshop 上发表——e-values 支持随时有效推断与持续监控,特别适合被持续评估与审计的 ML 系统。
所属事件:CarbonForge 用 e-values 防止 Agent 科研自我欺骗(3 条相关)→
「编程与Agent」频道最新
- Cua 推出 Spaces SDK:让 Hermes 等 Agent 跑在你自己的电脑沙箱里 — Teknium · 2026-10-23
- PHP 爆两个未认证 RCE 漏洞,ProjectDiscovery 推全网免费告警服务 — cyb3rops · 2026-10-23
- Modal 开源 Spindle:Tinker 兼容自托管训练服务器,按 GPU 计费替代按 token 计费 — josh_wills · 2026-10-23
- 用 Cosmos DB Agent Kit 复查 Claude 写的 Azure 应用,实测能省多少 RU — adnan_hashmi · 2026-10-23
- 开发者弃用聊天线程,改用可视化面板管理多个 AI Agent — Salmaaboukarr · 2026-10-23
- Warp 用计算机操作工具解决编码 Agent 验证瓶颈,合并周期大幅缩短 — vikvang1 · 2026-10-23