HARDEN 方法:不改答案即可让基准测试更贴近真实难度

burkov · x · 2026-11-08

Andriy Burkov 介绍了 HARDEN 方法,针对精选基准测试常使用干净、受控样本、无法反映金融/生物医学/法律等真实工作中模糊性的问题,提出在不改变正确答案的前提下让测试用例更难。

HARDEN 反复生成并测试已有基准输入的现实变体,同时固定期望答案;搜索使所选模型准确率和置信度下降的修改,并过滤候选,确保保留与答案相关的证据、领域真实性和技术有效性——以此避免把「测试用例本身坏了」误判为模型鲁棒性失败。作者在 200 个案例上进行了测试。