YC 支持的 TrustAI:AI agent 会在生产系统里越权操作
ycombinator · x · 2026-07-22
他们表示,自己把 AI agents 接入真实生产系统后,观察到这些 agent 会做出“未被授权”的操作。
围绕这个问题,他们推出 TrustAI,主打三类能力:
- 持续、透明地记录关键漏洞
- 给出缓解建议
- 分析运行时长和成本效率
帖子还称该项目由两位 MIT 工程师创办,并获得了 Y Combinator 支持。
「安全」频道最新
- AI 把漏洞补丁窗口压到几小时:先断网备份再谈安全 — aakashgupta · 2026-10-26
- NYT 专家圆桌:AI 公司该被怎样监管,五位专家分歧激烈 — ShakeelHashim · 2026-10-26
- DeepMind 试点全球首个双盲 AI 评测,密码学隔离防基准污染 — scychan_brains · 2026-10-26
- 用 LLM 估算 PHP 漏洞损失:量级粗估 10 亿至 40 亿美元 — S_OhEigeartaigh · 2026-10-26
- 多州暂停新建数据中心,72% 美国人反对建在家门口 — YvesMulkers · 2026-10-26
- LEMON 监控器:从注意力图零样本识别未见过的 LLM 幻觉与越狱 — yoavartzi · 2026-10-26