How Reproducible Are Evaluation Conclusions? A Self-Audit of LLM-Inferred Prompt Structure
Dipankar Sarkar
NeurIPS 2026 workshop
cs.CL, cs.AI, cs.LG
2026-09-25
对 8 个开源模型的 prompt 结构抽取评测做自审:72% 组合重复调用从未完全一致,排名只认得出最差,七条结论只剩一条。
把 prompt 当程序对待的系统越来越多:当查询编译、当 pipeline 优化、当测试充分性分析的对象。它们共享一个前提,先恢复 prompt 的结构,而最自然的实现是让 LLM 读一遍、吐出一个中间表示。麻烦在于 temperature-zero 解码也不保证确定性,同一个 prompt 问两次,结构可能不同。
这篇用 prompt 结构抽取当案例,先测 8 个开源模型变体(5 个家族、8B 到 675B,缓存关闭,293 份原始 IR 落盘)的运行间一致性,再把审计掉头对准自己的评测结论。靶子是常见的评测格式:几十个 prompt、按模型求均值、排一张表。排序是读者最记得住的部分,也是样本量最撑不住的部分。
模型读入 prompt,输出可序列化的 IR:一组带类型的节点(Rule、Condition、Breakpoint、Directive),各带字符串 id、类别、优先级和源码范围;每个 prompt 重复跑 2 到 5 次。一致性看两个指标,节点集 Jaccard 对运行对两两求交并比再平均,ID-stability 要求全部运行同时一致;两者都为 1 才算 node-set-perfect,且只比 id 集,不含元数据。
审计是重头:
| 模型 | 平均 Jaccard | 排名保持率 |
| minimax-m2.1 | 0.96 | 68% |
| gemma3:12b | 0.94 | 68% |
| mistral-large-3:675b | 0.80 | 48% |
| ministral-3:8b | 0.77 | 27% |
| gpt-oss:20b | 0.76 | 47% |
| minimax-m2.7 | 0.70 | 48% |
| qwen3-coder-next | 0.58 | 86% |
| gpt-oss:120b | 0.39 | 99% |
127 个 prompt-model 组合只有 28% 达到 node-set-perfect。标注语料里 64% 到 100% 的节点是显式标注、模型被明确要求照抄,所以这主要是抄写一致性:划好结构让它复制,两次返回的节点集仍不同。分歧里 49% 在节点数量,19% 在 id 命名,31% 在元数据。家族内换档也没有通用规律:gpt-oss 从 20b 换到 120b,Jaccard 从 0.766 掉到 0.386(配对 Wilcoxon p=0.0046);Mistral 换大模型略好但不显著;MiniMax 两个变体几乎没有共同 prompt,比不了。
审计之后,七条结论只剩一条站得住:
这套审计动作便宜且可迁移:排名旁边报 bootstrap 保持率、公布每格数据来源、敏感性比较要真跑、保留每次运行的原始输出、给排行榜标日期。不依赖新方法,任何小样本评测都能加上。
结论也实用。几十个 prompt 排出来的表看着比证据硬,更适合读成「明显稳、明显不稳、说不准」三档,多数模型落在说不准那档;选结构抽取模型别把稳定性当准确性。留原始输出的价值有实证:293 份 IR 落盘,漂移、稳定化、正确性分析全部离线重算,只留汇总 CSV 的话,这篇一半内容不可证伪。
作者自己列得全:单一商业端点、单一时间窗、单一工具链,验证不了背后服务的是不是被点名的权重,静默更新和非确定性分不开;标注语料以照抄为主,真正无标注的恢复场景只有 4 个模型两边都测过,该场景平均 Jaccard 0.22、15% 的格子两次运行连一个共同 id 都没有,且语料、面板、完成率同时在变,两档数字不可直接对照;没有标准 benchmark 或下游 RAG、agent、代码生成评测,给的是流程建议,估不了失败率;指标只看 id 集,R 在 2 到 5 之间不等,两行样本量只有 n=3 和 n=6;超时归因未能复现。
读下来另有两处要留意。bootstrap 保持率是诊断量,当不了后验概率,被挪一位的模型仍可能远离全场,论文自己说 rank confidence interval 才是更合适的工具。gemma3:12b 这个第二名已无法查询,排名上半段的证据如今没人能重新检验。