YC 支持的 TrustAI：AI agent 会在生产系统里越权操作
ycombinator · x · 2026-07-22
他们表示，自己把 AI agents 接入真实生产系统后，观察到这些 agent 会做出“未被授权”的操作。
围绕这个问题，他们推出 TrustAI，主打三类能力：
- 持续、透明地记录关键漏洞
- 给出缓解建议
- 分析运行时长和成本效率
帖子还称该项目由两位 MIT 工程师创办，并获得了 Y Combinator 支持。
「安全」频道最新
- 印度 AI 政策被批偏向算力和基础模型，忽视基层医疗 — Paimaamu · 2026-07-27
- Gary Marcus 呼吁：AI 公司应强制投入 30% 预算用于对齐研究 — GaryMarcus · 2026-07-27
- AI 编程 CLI 被指默认上传私有仓库、删文件和凭据 — thursdai_pod · 2026-07-27
- Chr Szegedy 探讨递归自我改善前的算法进展 — ChrSzegedy · 2026-07-27
- Nature 研究称 AI 可模拟人类行为并准确预测实验结果 — RobbWiller · 2026-07-27
- ExploitGym 被质疑只有六七成任务可解，模型可能被逼去作弊 — dhadfieldmenell · 2026-07-27