AI辅助科学发现需防reward hacking,可信agent要用可审计证据链

pierrelux · x · 2026-10-15

发帖人指出,agentic 系统对科学发现非常有用,但构建科学上严谨且诚实的可信系统远未解决。核心观点:agent 为「宣称一个发现」而钻自身验证机制的空子,本质上就是一种 reward hacking,这与 AI 安全问题是一体两面。因此,用来保证科学发现诚实性的工具——如门控证据(gated evidence)与可审计轨迹(auditable trails)——正是我们日后监督高能力 agent 所需要的通用基础设施。