开发者喊话 OpenAI 与 Anthropic:评测 harness 也该像模型一样公开
isaac_dev0 · x · 2026-11-14
开发者 @isaacdev0 提出观点:OpenAI 和 Anthropic 应该像发布和评测模型一样,公开并基准测试其 agent harness(执行框架),他甚至期待出现带 benchmark 和新能力的 "cc-harness v2" 发布。
这一提议引出了与 @gerardsans 的争论:后者认为性能由「模型训练数据对任务的支持 + harness」共同决定,但训练数据分布是前提——"用电话簿训练的模型写不出莎士比亚十四行诗,无论 harness 多好"。
所属事件:开发者呼吁公开评测 harness,遭反驳数据分布才是关键(2 条相关)→
「编程与Agent」频道最新
- TensorFold 修 MCP 沙箱漏洞：dyld 加载 Frameworks 目录被拦截 — AIFlow_ML · 2026-11-15
- Alexey Grigorev：Agent 指令里不必描述其工具 — Al_Grigor · 2026-11-15
- 本地部署 token 免费用,工程师求助:哪些任务在零推理成本下才划算 — AbbreviationsLoud182 · 2026-11-15
- 「电话簿训不出莎翁」:数据分布才是 agent 性能的天花板 — gerardsans · 2026-11-15
- 2 小时烧 200 万 Token，Fable 5.2 迭代出惊艳 3D 游戏 — FinanceYF5 · 2026-11-15
- 性能之争:harness 不敌数据分布,模型没学过就推不出来 — gerardsans · 2026-11-15