分析 3 万次 LLM 跑分：日间波动 2.8 分
ionutvi · reddit · 2026-08-29
作者分析了 31,352 个小时级 LLM 基准测试分数，发现日间波动仅为 2.8 分，而日间波动高达 8.4 分。基于此，作者开源了 AIStupidLevel 平台，持续监控模型能力漂移。该系统运行代码、深度推理、工具调用等四套测试套件，集成了 169,858 次运行数据，并推出了基于实时能力的智能路由，可在模型性能下降时自动切换。
所属事件:3万余条小时级评测揭示大模型跨天分数波动达日内3倍(2 条相关)→
「Infra」频道最新
- Meta 开源 816B 参数 Muse Spark Open，Groq 预览跑出 350+ tokens/秒 — GroqLLC · 2026-10-16
- Together AI 上线 Muse Spark Open 推理:面向 agentic 编码与多模态负载 — togethercompute · 2026-10-16
- 马斯克官宣:SpaceX 与 Nvidia 共研太空数据中心,明年量产 — elonmusk · 2026-10-16
- 发布仅 30 分钟,Muse Spark Open 已可在 MLX 上本地运行 — pcuenq · 2026-10-16
- 分析师将台积电财报与 WFE、功耗预测交叉建模 — BenBajarin · 2026-10-16
- Vercel Drives 正式发布:给 Agent 配上跨环境持久化存储 — evilrabbit_ · 2026-10-16