别盲信模型发布评测
osanseviero · x · 2026-07-18
作者强调：不要盲信模型发布时自带的 benchmark，应优先参考中立第三方评测，或自己做评估。
他指出厂商公布的分数经常并非“苹果对苹果”比较，常见问题包括：
- 给某些 benchmark 加了默认 prompt，但别的没有
- 使用不同实现、不同 k-shot、CoT 或生成参数
- 指标实现有 bug，后来悄悄修正却不说明
- 采用不同的答案解析器
结论是：LLM 评测很复杂，不是单一维度就能说明问题。
「研究」频道最新
- HF 工程师争论:非生成任务全用因果注意力是在浪费算力 — antoine_chaffin · 2026-09-11
- 智利学者：AI 反馈规模化是医学教育可持续的关键 — julianvarascom · 2026-09-11
- Nature 新研究实现全身器官细胞活动成像,揭示跨器官体级回路 — arjunrajlab · 2026-09-11
- SignNet 1M 手语数据集发布 — ducha_aiki · 2026-09-11
- ECCV26 口头论文：流匹配实现多视角点云配准 — ducha_aiki · 2026-09-11
- InFlux++ 方法发布 — ducha_aiki · 2026-09-11