藏在系统提示里的日期,让 LLM 数学评测一年内相差 14 个点

Dating the Model: Hidden Dates in System Prompts Affect LLM Evaluation

Mario Sanz-Guerrero, Minh Duc Bui, Manuel Mager, Katharina von der Wense

cs.CL

2026-09-29

只改系统提示里隐藏的当前日期,9 个模型的数学评测一年内相差最高 14 个点,MMLU 榜单隔天互换冠亚军。

这篇在解决什么

LLM 跑分的复现性有个已知痛点:同样的权重,换 batch size、换精度、换 GPU,分数会抖。这篇指出一个没人系统测过的变量:推理框架和服务商会把「当前日期」悄悄写进 system prompt,用户看不到、删不掉,而它每天都在变。

日期看起来与题目无关。论文验证过 MMLU、GPQA、ARC-Challenge 里没有依赖时间的题目,然后固定全部配置只改日期重跑评测。GPT-5.1 在固定日期重复跑两遍,42 次结果全部一致;换个日期,分数就动。

9 个开源模型:Llama 3.1(8B/70B)、Gemma 3(4B/27B)、Qwen3(4B)、Qwen3-Next(80B)、Phi-4(14B)、GPT-OSS(20B/120B),外加闭源的 GPT-5.1。
6 个数据集、四类任务:MMLU、GPQA、ARC-Challenge(选择题),GSM8K(数学),HumanEval(代码,跑单元测试判分),WMT 英译德/芬/捷(整段输出)。
日期扫 2024 全年,每模型每数据集 365 次运行,其余配置固定、确定性解码。GPT-5.1 的日期由服务端注入,留空 system prompt、temperature 设 0、关闭 reasoning,连测一周。

四类任务的挑选有逻辑:选择题只从单个答案 token 的概率读分,日期的作用面最小;生成式任务输出越长,日期前缀越有机会偏置中间 token,扰动级联到最终答案。

差为 2024 年内最差与最好日期之差,最大值均出自 GPT-OSS 120B(选择题在 GPQA)。

生成式任务受影响远大于选择题:GSM8K 平均波动接近选择题的三倍,120B 的模型同样中招,规模不提供保护。
榜单会洗牌:MMLU 上 2024 年 6 月 26 日与 27 日,Qwen3-Next 80B 和 GPT-OSS 120B 互换冠亚军,第三到第五名全部错位。
日期效应比其他已知噪声源大。Llama 3.1 8B 在 MMLU 上,accuracy 的变异系数日期为 0.78%,batch size 0.61%、数值精度 0.52%、GPU 型号 0.48%,只有选项顺序(0.75%)与它量级相当。
常规缓解无效:5-shot 只把平均差从 2.52% 压到 2.27%;CoT 反而放大敏感性,因为日期会影响推理开头 token 的选择。
不存在「好日期」:日期与成绩的趋势相关中位数 0.02,两个模型同涨同跌的比例 51%,等于随机,同家族模型之间也不共享。日期是每个模型-数据集组合特有的噪声。

解释性实验:把系统提示措辞换 6 种写法,accuracy 波动与日期效应相同(变异系数都是 0.78%)。模型对 system prompt 的任何改动都敏感,日期只是其中一种,区别是它发生在用户不知情时,可能与 SFT、RLHF 阶段系统提示固定有关。

做评测的人需要把它写进协议:固定日期并随结果报告,能删就从 chat template 里删掉。不同日期发布的两个模型差 1 个点可能纯属噪声,reasoning 任务 7 到 14 个点的 worst-case 波动足以翻转结论。

靠 API 的团队更被动:注入在服务端发生,用户没有任何控制手段,GPT-5.1 一周内 GPQA 就抖了 4 个点。

翻译领域更好感受量级:WMT 的进步通常按零点几个 BLEU 报告,日期效应最大 2.84 BLEU。

这是一篇测量学论文,没有新方法,该改变的是评测协议,路径类似选项顺序偏差被写进最佳实践。

论文自述:模型与数据集覆盖有限;闭源只测了 GPT-5.1 一周;对话、摘要等开放任务未测;日期只用一种格式、一个位置、只扫 2024 年,其他格式与年份未知;每模型每数据集 365 次运行的成本也限制了规模。

两点存疑:机制解释停在假设层面,措辞实验是相关性证据,没有直接证明训练时系统提示固定就是原因;14.42% 是 GPT-OSS 120B 的极值,平均 7.75%,引用时别把极值当常态。