LSCBench:AI 编码 agent 功能测试 91% 通过，安全仅 25%
krishnan · x · 2026-10-18
新加坡国立大学与阿里巴巴 Qwen 团队等发布的 LSCBench(arXiv,2026-10-14)对六个前沿编码 agent 在取自 150 个真实漏洞的 450 个任务上做了测试，量化了「能跑」与「安全」之间的巨大落差：
- 功能测试表现最好的 agent 通过率高达 91.3%；但在「功能正确且安全」的综合指标上，同一个榜首 agent 只拿到 25.1%。
- 基准设计的关键在于：任务规格只要求实现功能，安全要求是隐含的——以此检验 agent 是否会主动避免引入真实世界常见的漏洞模式。
- 该结论与行业背景呼应：AI agent 生成的代码量增长约 30%,但实际交付软件并未同步增加，企业安全团队正重新评估给编码 agent 多大的自主权。
发帖人补充观点：无论在大厂还是创业公司，他审过的某些国家人类工程师写的代码，在安全性上也不比 AI 好。
「编程与Agent」频道最新
- 用 ChatGPT 插件让 Dot 每小时自动监控新闻并推送提醒 — koltregaskes · 2026-10-18
- Optimus 发布:自主 RL Agent 全自动跑并行训练实验 — _AustinCalvert_ · 2026-10-18
- GitHub Copilot 接入微软 Work IQ MCP，批量建 issue 从数小时缩到 30 分钟 — DanWahlin · 2026-10-18
- AI 高效工作法：先判断工作是否「AI 可验证」，再决定怎么干 — danshipper · 2026-10-18
- 个人 AI Agent 如何绕过网站封锁？真机操控或是最优解 — lucasmeijer · 2026-10-18
- 开发者复盘：为 AI Agent 构建 120+ 金融数据 MCP 工具的六条设计经验 — DanielAPO · 2026-10-18