研究称同一模型换harness编码分差可达35分，榜单遭质疑

Chamath 发长文称模型榜单已无价值：8090 Labs 实测 7 个模型搭配 5 种 harness，发现同一模型在 113 个编码任务上的得分可因外层 harness 不同而从 24% 波动到 59%，分差最高达 35 分。他强调榜单只测模型本身，但实际没人单独跑模型，每个编码智能体都是模型加 harness 的组合，因此现有排名难以反映真实能力。

2026-10-13 ~ 2026-10-13 · 2 条相关