Meta 部署 JiTTesting:LLM 自动生成测试拦截 bug,人工审核量降 70%
AxSaucedo · x · 2026-11-05
Meta 工程团队宣布其「Catching JiTTests」方法已从研究原型进入生产基础设施:在代码合入前用 LLM 自动生成「catching 测试」,在提议的 diff 上直接验证是否引入回归,而非生成传统的加固测试。
关键成果(基于 22,126 个候选测试的分析,详见 FSE 2026 论文):
- catching 测试的候选捕获率比加固测试高 4 倍,比置信度失败的测试高 20 倍
- 用 LLM 评估测试质量,人工审核负担减少 70%
- 已报告 41 个候选捕获,其中 8 个确认为真 bug,4 个本可能导致严重故障且此前手段无法发现
- 配套工作流:用 Diff Risk Score(基于历史代码变化的稀疏分类器)对高风险 diff 优先触发测试生成,高风险 diff 由工程师在合入前复核,低风险的可以让工程师跳过测试代码
论文还从统计上分析:被人类接受的改动假阳性明显更多、被拒绝的改动真阳性更多,并讨论了 catching 测试固有的「弱 oracle」难以区分真假失败的挑战。
「编程与Agent」频道最新
- MetaMask 推出 Agent Wallet:用链上护栏管住乱花钱的 AI 智能体 — LexSokolin · 2026-11-05
- 开发者质疑 Decision RAG:为何不直接用 Jev 做向量检索 — solyarisoftware · 2026-11-05
- Soniox 发布 STT v6:首个能「听到」语音助手说什么的语音识别模型 — solyarisoftware · 2026-11-05
- Selmem 项目实验发现：记忆分化不等于行为分化，需引入自我模型 — Tough_Conflict_8852 · 2026-11-05
- 中科院研究揭示多轮 Agent RL 增益依赖交互预算 — CASIA · 2026-11-05
- 自学开发者用 LangGraph 重写本地语音助手 ARYA 并公开架构求评审 — Alternative_Yak_1367 · 2026-11-05