Reddit 热议:该有工具定期跑同一基准,监测模型 nerf
spinozasrobot · reddit · 2026-09-26
Reddit 用户提议做一个「nerf 检测器」:目前常见模式是模型发布时跑分亮眼、社区兴奋,随后用户陆续抱怨能力悄悄退化(nerfing)。作者建议对同一组 benchmark 随时间持续重跑、绘制趋势曲线,以跨模型、跨实验室对比能力变化,并询问是否已有类似项目。讨论反映了社区对「发布后模型静默降级」缺乏系统性监测工具的不满。
「模型」频道最新
- 百度首次用 RSI 自动优化文心推理,昆仑芯出字速度提升 6.24 倍 — xiaohu · 2026-11-11
- 百度 ECHO 多 token 预测:复用最后一层打草稿,一次核对出多字 — xiaohu · 2026-11-11
- 文心 5.5 Flash Preview 架构拆解:280B 参数每 token 仅激活 14B — xiaohu · 2026-11-11
- 文心 5.5 纯 Python 逐帧画出 117 秒《鹈鹕测试》,还能卡鼓点剪辑 — xiaohu · 2026-11-11
- 百度开源文心 5.5 Flash Preview:连写 11 小时代码做出武侠游戏 — xiaohu · 2026-11-11
- 3.5万个 Grok 生成应用裸奔泄露患者数据与明文密码 — The Decoder · 2026-11-11