开发者呼吁公开评测 harness,遭反驳数据分布才是关键

开发者 @isaacdev0 于 11 月 14 日喊话 OpenAI 与 Anthropic,主张像发布和评测模型一样公开并对 agent harness(执行框架)进行基准测试,甚至期待出现带基准的开源 harness。次日 @gerardsans 回应称这是常见误解:真正驱动性能的是模型训练数据对任务的采样支持,harness 只在其次,推理能力需要分布质量,模型没学过的任务难以推出。双方围绕 harness 与训练数据孰轻孰重展开交锋。

2026-11-14 ~ 2026-11-15 · 2 条相关