别盲信模型发布评测
osanseviero · x · 2026-07-18
作者强调：**不要盲信模型发布时自带的 benchmark**，应优先参考中立第三方评测，或自己做评估。 他指出厂商公布的分数经常并非“苹果对苹果”比较，常见问题包括： - 给某些 benchmark 加了默认 prompt，但别的没有 - 使用不同实现、不同 k-shot、CoT 或生成参数 - 指标实现有 bug，后来悄悄修正却不说明 - 采用不同的答案解析器 结论是：LLM 评测很复杂，不是单一维度就能说明问题。