3.1万条小时级评测：模型跨天波动 8.4 分，是日内波动 3 倍
ionutvi · reddit · 2026-08-29
作者构建了持续评测管线，对 49 个模型标识、31,352 条小时级 benchmark 分数（编码、深度推理、工具调用、高频金丝雀任务）做了统计分析：
- 同一日内波动仅 2.8 分，跨日波动达 8.4 分，约为日内波动的 3 倍，说明单点小时级波动主要是随机性，而以天为窗口的持续变化才是检测性能漂移的更强信号。
- 编码任务实际执行代码而非仅靠模型评判；工具调用测试在隔离 Docker 环境中验证选工具、构造参数、完成工作流；每任务跑 5 次聚合以降噪。
- 检测管线将重复测量聚合成日中位数，再用序贯变点检测，须超过历史方差并满足最小效应阈值才判定为降级或恢复。
- 截图时系统检测到 Gemini 3.1 Flash Lite 持续性能下降 32%，判定为严重事故。
这套系统已开源为 AIStupidLevel（前后端均 MIT），累计 169,858 次 benchmark 运行、8800 万+ token，实时监控 22 个模型、6 家提供商，将模型分为稳定/波动/降级/恢复四类，并驱动一个按当前任务表现、稳定性、延迟与成本选模型的 OpenAI 兼容路由器。
所属事件:3万余条小时级评测揭示大模型跨天分数波动达日内3倍(2 条相关)→
「Infra」频道最新
- 2026 晶圆厂设备支出上调至 1530 亿美元，设备周期被拉长 — BenBajarin · 2026-10-16
- Steam 更新实测 5.23 秒启动反超 Epic，网友调侃 vLLM 该加入「启动时间大战」 — AlpinDale · 2026-10-16
- Shadeform 预告下周一发布六项新功能：降 GPU 成本、扩算力来源 — _jaydeepkarale · 2026-10-16
- Fastino 推出后训练 API：兼容 Tinker SDK，成本降 25%-85% — kalyan_kpl · 2026-10-16
- 达拉斯联储估算：AI 数据中心举债约占期限供给八分之一 — _onionesque · 2026-10-16
- 12GB 笔记本显卡硬跑 Wan2.1 14B FP16:内存交换压测 4 分 11 秒出片 — RYuu-1120 · 2026-10-16