AI 评测风向之辩：benchmark 应衡量对知识前沿的贡献而非任务完成

omarsar0 · x · 2026-11-04

GregKamradt 提出观点：他越来越关注那些衡量 AI 对「知识前沿贡献」的 benchmark，而非单纯的任务完成度。Sergey Karayev（omarsar0 不对，此账号为 Elvis Saravia？作者为 omarsar0 即 Elvis）附议并补充：现有 benchmark 的任务完成导向在当前模型能力下已显过时，需要重新思考什么才是好 benchmark。

两人共同指向一个更难但更重要的方向：评估模型带来的实际经济价值与对知识边界的推进（如「对知识前沿的贡献」），这会改变「什么是好的测量」的整个讨论。