开源模型得分反超API？评估器未剥离元数据导致分数虚低
VikParuchuri · x · 2026-08-15
VikParuchuri发现某评估器在计算完美提取分数时，未先剥离输出中的元数据/置信度字段，导致API得分被低估（65% vs 开源模型77%）。
所属事件:LlamaIndex基准评分缺陷修复后 Datalab从65%升至93.6%(6 条相关)→
「研究」频道最新
- 美团 LongCat 发布 WorldCast 基准：320 案例考多步世界状态预测 — meituan-longcat · 2026-10-16
- MIT 生物系联合计算学院招聘计算生物学助理教授，欢迎生成式 AI 方向 — anshulkundaje · 2026-10-16
- 开发者在 Colab 持续预训练 Luganda 语小模型，8 小时跑到 41% — weskambale · 2026-10-16
- MAI-Base-2 训练报告采用把 1/(weight_decay·lr) 视作时间尺度的缩放规则 — SeunghyunSEO7 · 2026-10-16
- 仅 108M 参数的文生图去噪模型 Surjo-Image-Preview 开源 — Consistent-Rule-3720 · 2026-10-16
- 19 个单位方块最优装箱问题有了 Lean 形式化证明 — ctjlewis · 2026-10-16