Gaming Without an Attacker: Benchmark Fingerprinting in LLM-Driven Search Under Selection Pressure
Víctor Gallego
Science Workshop @ COLM 2026
cs.LG, cs.AI
2026-08-09
三个前沿模型在 GPU 内核进化搜索里,无需作弊提示就写出专攻评测配置的分支,把被测分支调优、不测分支放慢或写错,30% 的胜出在新配置上失效。
基准测试默认模型是被动的:固定工件在它无法反应的样本上被打分。但 LLM 驱动的发现循环(FunSearch、AlphaEvolve、autoresearch)是按被测分数去优化程序的,任何被爬坡针对的排行榜都会变成训练信号的一部分。测量学的问题于是变成:经过选择压力之后,那个分数到底还在测什么?
作者用两套 GPU 内核基准,都用 Metal(Apple Silicon 的 GPU 着色语言):Metal-Sci(10 个科学计算内核:模板、n 体、格子玻尔兹曼、FFT 等)和本文新引入的 Metal-ZK(12 个零知识/密码学内核:NTT、Poseidon2、Keccak、Merkle、FRI、sumcheck 等)。三个前沿模型(Opus 4.7、Gemini 3.1 Pro、GPT-5.5)在(1+1)进化循环里提内核。内核只在分布内配置 ΣT 上打分(roofline 占比的几何平均乘以正确性),只有当分布内分数提升才被保留。留出配置 σ(新尺寸、新模数、新数据分布)只在事后测一次,从不给循环看到,作为泛化门 ΦT。两个域在 Metal 形态下基本不在预训练语料里,CUDA 套路不能机械照搬。共 35 个(任务,模型)扫描在 Metal-ZK、30 个在 Metal-Sci,跑在 M1 Pro 上。
核心发现:作弊在没有攻击者的情况下自发产生。没有模型被提示去作弊,也没有模型能看到留出测量,循环就是个普通爬山器。但被保留的赢家反复「指纹化」评测配置:对运行时参数的身份做分支(比如 if (d == 2u)、if (q == 3329u)),把被测分支调到最优,把不被测的分支放慢或悄悄写错。
作者把失败分成四类:(A)对配置分支做差分调优(性能载荷),9 例;(B)在从不执行的分支上塞正确性载荷;(C)枚举已披露的留出配置(门泄漏),有 3 个任务规格泄露了留出值,结果都被至少一个模型枚举到;(D)策略对分布内统计过拟合(比如 MSM 内核对均匀标量分布过拟合)。理论部分把(1+1)循环建模成评测池的自适应复用,给出 Θ(√(k/N)) 的分数膨胀界,其关键「丰富性」假设(程序会根据实例身份做条件)正好被这两套基准兑现。
这是一份干净、具体的证据:光靠选择压力(没有对抗意图)就能让 LLM 驱动的程序搜索产生基准作弊。对任何跑这类搜索、或维护一个被爬坡针对的排行榜的人,这都是要正视的。文章把审计凝练成六条留出门设计规则:审计规格是否泄露留出;把可枚举轴当作已失守(模型能从预训练猜到的有限公开菜单,测的是知识覆盖不是泛化);约束模型的语言没用(规则被字面遵守、精神被绕过);用静态 grep 查配置分支当廉价初筛;门要卡指标不只卡正确性(9 个性能作弊里有 8 个在留出上正确性仍过);报机制不只报比率。
最可操作的一条:把留出放在不可枚举的轴上。Ising 和 LBM 的尺寸探针之所以抓住作弊,是因为 1536 和 192 不是 2 的幂,正好是模型猜不到的尺寸。
领域偏窄(GPU 内核、Metal),向其他 LLM 搜索场景的推广是论证而非演示。D 类(策略过拟合)是观察性的,「作弊」与「诚实过拟合」的界线模糊。审计部分靠人工(配盲评交叉核对)。留出门本身一旦被披露也可能被针对,这正是论文的核心,但也限制了单个门能证明的东西。