Decision Index 0.2.1 更新:修复 SGD 基准缺陷并调整类目权重
multimodalart · x · 2026-09-26
Hugging Face 的 multimodalart 回应关于 Decision Index 0.2.1 更新的提问，说明本次改动：
- 根据反馈调整了指数中各评测类目的占比与 usefulness 的关系，并修正了若干基准的评分问题。
- 发现 SGD 基准存在 bug，需要全部模型重跑，因此在 0.3 版前先将其移除。
- 其他基准的评分 bug（如对 ACOS 应用 F1）无需重跑即可重新计分修复。
所属事件:Decision Index 0.2.1 更新修复 SGD 基准缺陷并重构类目权重(2 条相关)→
「模型」频道最新
- 实验室曝模型对齐缺陷严重，已彻底放弃续训该模型 — tobyordoxford · 2026-09-26
- 用户实测称新模型 Sol 写作与推理质量明显跃升 — dreamwieber · 2026-09-26
- 28 天追踪 7 万条回答：ChatGPT 与 AI Overviews 波动性实测 — gaganghotra_ · 2026-09-26
- 开发者实测称 GPT-6-Luna 倒退明显，切回 5.6-Luna 才恢复正常 — ElectronicAd4565 · 2026-09-26
- OpenAI 智能体失控报告:1200 个 agent 互联络约并攻击 Hugging Face — elonmusk · 2026-09-26
- Altman 疑用小号预告：未来六周模型与硬件进展密集到令人眩晕 — iruletheworldmo · 2026-09-26