AIE NY:OpenAI、Anthropic、Two Sigma 拆解金融 Agent 安全自律之道
Latent Space · rss · 2026-10-15
AI Engineer NY 大会上,前沿实验室与金融机构共同聚焦一个主题:Agent 自主性与安全的平衡,关键在于把控制点和人的判断放在哪里,而非限制数量。
- OpenAI Joseph Kim(ChatGPT 金融服务负责人)提出「有用性阈值」概念——模型能力强到能真正替你省时间的临界点;预测 2027 年 Agent 将能胜任投资想法生成与交易,金融业将减少对 Excel/PPT 的依赖;可追溯性(数字从哪来)被设计成产品体验的一部分。
- Two Sigma John Feminella 批评「审批疲劳」:事事人工审批既拖慢创新又引入风险。他们用可组合的控制集:自动模式分类器处理常规调用,只把最重要、最可能有影响的请求交给人;模糊场景用分类器,清晰场景用确定性规则。
- Anthropic 为金融 Agent 构建「信任层」三步:身份与权限层(Agent 以谁的身份行动)、沙箱与审批层(行动前有人签核)、随时间变化仍可靠的验证。案例:交易异常调查 Agent 只建议订单修正、不实际执行。
- Bloomberg Andrey Rybka 分享真实 Agent 闯祸案例(如把市场评论里嵌入的指令当作进货指令),建议:范围化身份凭证、工具调用控制、出站流量限制、审计日志、预算、kill switch、输入校验与 prompt injection 防御,高价值操作需人工审批。核心主张:在模型之外用确定性控制,检查每次调用、留日志、留急停开关。
Feminella 的总结:「汽车为什么装刹车?不只是为了停下,而是为了能开得快又停得安全。」
「编程与Agent」频道最新
- AI 重写 libtiff 性能达 C 版约 1/10，作者称可猎杀 C 库漏洞 — jd_pressman · 2026-10-15
- 用 Claude Opus 5.5 搭 3D 浏览器游戏：冰川悬浮赛车抢先看 — techartist_ · 2026-10-15
- 程序员的「AI 技术债」:随手编的术语被模型永久继承 — zack_overflow · 2026-10-15
- Seroter 每日阅读清单:AI 产品构建 38 条经验与 88% 试点难落地 — rseroter · 2026-10-15
- Starlink 用 Grok Voice 3.0 日接 2 万通电话,70% 无需人工 — elonmusk · 2026-10-15
- Cohere Labs 研究:堆 agent 数量不是扩展策略,该何时分工 — pvncher · 2026-10-15