研究案例:两个 LLM 编写与审查代码均未发现“未来数据”漏洞
niacolhealth · reddit · 2026-08-25
一篇关于 AQuA(量化交易研究 Agent)的论文揭示了一个典型的 AI 系统漏洞案例,展示了双 LLM 协作中的盲点。
- 案例背景:Agent A 编写了一个日内交易特征,Agent B 负责审查其因果关系。特征将“当日截至目前交易量”除以“当日最终总交易量”。
- 漏洞发现:在预测时,分母中的“最终总交易量”包含了当天未来的交易数据(未来数据泄露)。Agent B 令人信服地批准了该解释,导致该特征在重新分割后失效,人工审计才发现问题。
- 深层原因:问题不在于简单的“LLM 犯错”,而是两个模型角色 converge 在了一个看似合理的解释上,而实际漏洞隐藏在 Agent 被允许执行的操作中。
- 解决方案 AQuA v2:
- 将数据分割、特征定义和评估器封装在 Agent 自适应表面之外。
- 用固定的因果操作符注册表替换任意特征代码,从接口层面禁止此类无效变换。
- 权衡讨论:注册表限制了 Agent 的发明空间,但更安全;更强的审查器虽然保留更多搜索空间,但必须可靠地捕捉微妙的依赖关系。论文作者抛出问题:在设计此类循环时,应将复杂性预算花在更强的静态审查器、更小的类型化工具集,还是混合方案上?
「编程与Agent」频道最新
- Self Labs 推出 Agent Vault,让智能体安全登录并刷信用卡 — EXM7777 · 2026-10-16
- Plane Agents:触发器才是把聊天机器人变成工作流 Agent 的关键 — JosephJacks_ · 2026-10-16
- Claude 工程负责人写教程:教你用 AI 敢想敢做更宏伟的事 — danshipper · 2026-10-16
- Qwen Code Desktop v0.25.2 发布:managed-agent 稳定性与 MCP 配置修复 — github-actions[bot] · 2026-10-16
- NVIDIA 7 门 AI Agent 课程免费开放,2026 年不必花钱报班 — ifioknkem · 2026-10-16
- Claude 跑完 9 小时任务后卡在等授权,配上名画恰如其分 — juliey4 · 2026-10-16