分析 3 万次 LLM 跑分：日间波动 2.8 分
ionutvi · reddit · 2026-08-29
作者分析了 31,352 个小时级 LLM 基准测试分数，发现日间波动仅为 2.8 分，而日间波动高达 8.4 分。基于此，作者开源了 AIStupidLevel 平台，持续监控模型能力漂移。该系统运行代码、深度推理、工具调用等四套测试套件，集成了 169,858 次运行数据，并推出了基于实时能力的智能路由，可在模型性能下降时自动切换。
所属事件:3万余条小时级评测揭示大模型跨天分数波动达日内3倍(2 条相关)→
「Infra」频道最新
- AI 延迟不止在模型：全链路 19 种模式即将发布 — bibryam · 2026-08-29
- 个人研究者租GPU越来越难，Jarvislabs 推按需 H200 集群 — algo_diver · 2026-08-29
- 3.1万条小时级评测：模型跨天波动 8.4 分，是日内波动 3 倍 — ionutvi · 2026-08-29
- 优化 AI 全链路延迟的四种实践方法 — bibryam · 2026-08-29
- 性能优化案例：延迟从 8ms 降至 0.87ms — DanielLockyer · 2026-08-29
- DGX Spark 实测：DeepSeek V4 Flash 跑通 90 万 token 长提示 — jtsaint333 · 2026-08-29