Meta 用必失败测试拦住 4 起严重故障,复核量降 70%

Just-in-Time Catching Test Generation at Meta

Matthew Becker, Yifei Chen, Nicholas Cochran, Pouyan Ghasemi, Abhishek Gulati, Mark Harman, Zachary Haluza, Mehrdad Honarkhah, Herve Robert, Jiacheng Liu, Weini Liu, Sreeja Thummala, Xiaoning Yang, Rui Xin, Sophie Zeng

cs.SE, cs.AI

2026-01-30

Meta 的变更感知必失败测试,弱捕获率约为硬化测试的 4 倍、碰巧失败的 20 倍,41 次里 8 个为真且 4 个本会严重故障。

这篇在解决什么

自动单测大多产出 hardening test:生成时要通过,再入库挡住以后的回归。Catching test 相反,生成出来就该失败,用来在 diff 合入前抓 bug。Diff 是 Meta 对一次提交的叫法。这种测试不能跟被测改动一起落地。

在 parent 上通过、在子版本上失败,只叫 weak catch,说明行为变了,不说明这是 bug。Strong catch 还得符合 general oracle,指系统真实该有、却常常没写明的行为。崩溃属于 implicit oracle,不论规格如何都算错。规格含糊时,失败既可能是代码错,也可能是测试错。假阳性会拖慢合入。Meta 的后端有数亿行,每天服务超过 35 亿人,生成测试又贵,因此只盯高风险提交里可能出现的严重回归。

方法

打分接近 Diff Risk Score,用历史变更训练,在美国西海岸夜间用空闲算力,只处理前一天的高风险 diff。

两条链路都做 mutation testing。Mutant 是改坏了的程序。测试在原版通过、在 mutant 上失败,称为杀死该错误。

Dodgy diff 不猜意图,把提交当成 parent 的 mutant,用已上线的 mutation-guided LLM 生成器去杀它。

Intent-aware 只读代码、标题和摘要,让模型列出实现意图时可能写错的点,再把每条风险做成 parent 上的 mutant 并生成杀死它的测试,最后放到真实 diff 上跑。支撑依据是 coupling hypothesis:杀死简单合成错误的测试,常常也能碰到与之耦合的真实故障。邮件、任务单和评审讨论故意留出,供以后对照。

Weak catch 之后才跑 assessor,用来分辨真假阳性,分数从 -1 到 1。RubFake 扫日志、测试和 diff:框架崩溃、反射、坏 mock、硬测私有方法、写死键值顺序算假阳性。键未改却越界、布尔翻转但表达式没改、重构或加日志却改了旧行为,或权限(RBAC)意外变化,则加分。布尔翻转一句话能问完,顺序变化证伪慢得多,优先级更低。

LLM-as-judge 由 Llama 3.3 70B、Gemini 3 Pro、Claude Sonnet 4 组成。它们看到失败测试、栈、diff 和推断意图。Llama 把 yes/no 的首 token 概率归一化到 -1 到 1。三家的 High、Medium、Low 映射为 1、0、-1,取中位数。

问询先不附上测试,只请作者确认行为差是不是故意的。感到意外之后,才需要读测试。

结果

五条流程共 22,126 条测试。弱捕获率指该流程里「子版本失败且 parent 通过」的比例。

方法测试数弱捕获率有 weak catch 的 diff
碰巧失败13,0010.2%未报告
TestGen-LLM,不要求新覆盖4,4992.0%3.6%
TestGen-LLM,须增加覆盖1,4400.9%未报告
ACH mutation-guided7540.8%1.6%
Dodgy diff1,6212.5%4.0%
Intent-aware8116.4%7.9%

摘要中的 4 倍、20 倍是概括。单看表:intent-aware 的 6.4% 约为 ACH 0.8% 的 8 倍、约为碰巧失败 0.2% 的 30 倍,dodgy diff 的 2.5% 只比不要求覆盖的 TestGen-LLM(2.0%)略高。按 diff 计,intent-aware 覆盖 7.9%,TestGen-LLM 3.6%,dodgy diff 4.0%,ACH 1.6%。硬化测试在任意后续 diff 上失败的概率大约 1%。

2025 年 9 月中到 10 月底,41 次问询里 8 次被确认是 strong catch,真阳性率 19.5%。8 次中的 4 次会变成严重故障。余下 4 次,2 次促成防御性修改,2 个 diff 被放弃。否掉假阳性,工程师的反馈是几分钟。

600 条 weak catch 上,token 概率为 -1 或分桶中位数为 0 时,标出假阳性的精度超过 98%。样本几乎全是假阳性,这个精度本身鉴别力有限。有用的是人力:丢掉低分后,人工复核减少约 70%,容量大约到纯人工的 4 倍。低分里没有漏掉真阳性,这一点没有被单独证明。

标签对照里,dodgy diff 分得开,intent-aware 基本分不开。被拒 diff 的真阳性分更高:RubFake p=0.002(小效应),两个 LLM 分数 p<0.001(中等效应)。被接受的 diff 上,LLM 假阳性更高。Intent-aware 只在分桶假阳性上显著(p=0.003)。Assessor 的 Spearman ρ 最高 0.535,Fleiss' κ 约 0.01。

11 月 11 日到 12 月 11 日,两条流程在 2,729 个 diff 上产出 8,797 条测试,通过 7,987 条,失败 405 条。

为什么重要

合入前的测试可以专门找「这次改动引入的故障」,不必只防以后的回归。工程师先回答行为是不是故意改的,测试代码留到感到意外再看。

Intent-aware 盖住的 diff 接近 dodgy diff 的两倍,测试却更少。把「可能写错什么」做成 mutant,比把整段 diff 当成一个 mutant 更接近真 bug。4/8 达到严重故障标准,高于常见的 5% 到 20% 严重 bug 比例,但样本只有 8,撑不起强结论。增量在问询方式,不在新的测试理论。

局限与存疑

4 次严重故障没有公开的故障描述。正文把确认数写成 7,又配上只有 8/41 才对得上的 19.5%。另一处写严重比例 43%,和 4/8 不符。

4 倍、20 倍对不齐表 1。不要求新覆盖的 TestGen-LLM 已是 2.0%,dodgy diff 只有 2.5%。四条主流程只比了 11 月 14 日至 24 日的同一批 diff,碰巧失败的窗口更长,且于 11 月 11 日停用。

显著分离集中在 dodgy diff。Intent-aware 几乎分不出已合入和未合入,摘要仍写成总体结论。98% 的精度来自「几乎全是假阳性」。70% 人力节省假设低分里没有真阳性,这点没被证明。规则出自 600 条非正式会商。41 次问询经人筛过,19.5% 不是全自动精度。合入标签也不等于有没有 bug。算力和 8 个真 bug 的来源都没给。

术语

原文与代码

社区讨论

相关论文

全部论文解读