3万余条小时级评测揭示大模型跨天分数波动达日内3倍

有研究者构建持续评测管线，对 49 个模型标识、共 31,352 条小时级基准分数（涵盖编码、深度推理、工具调用和高频金丝雀任务）进行统计分析。结果显示模型分数同一日内波动仅约 2.8 分，而跨天波动高达 8.4 分，是日内波动的 3 倍。基于这一发现，作者开源了 AIStupidLevel 平台，用于持续监控模型表现，提示单次跑分可能不足以反映模型真实水平。

2026-08-29 ~ 2026-08-29 · 2 条相关