性能之争:harness 不敌数据分布,模型没学过就推不出来
gerardsans · x · 2026-11-15
@gerardsans 回应「公开评测 harness」的提议,认为这是个常见误解:真正驱动性能的是模型训练数据对任务的采样支持,harness 只在其次。他强调推理需要分布质量(distribution mass),文献中有大量对照实验支持这一点——模型没见过的任务分布,再好的 harness 也救不了。
所属事件:性能之争:harness 不敌数据分布,模型没学过就推不出来(2 条相关)→
「编程与Agent」频道最新
- 原开发者确认：Claude Code 上线其推文提出的自定义主题功能 — FinanceYF5 · 2026-11-15
- 从推文到上线仅 17 天，Claude Code 正式支持自定义主题 — FinanceYF5 · 2026-11-15
- 「电话簿训不出莎翁」:数据分布才是 agent 性能的天花板 — gerardsans · 2026-11-15
- 2 小时烧 200 万 Token，Fable 5.2 迭代出惊艳 3D 游戏 — FinanceYF5 · 2026-11-15
- 20 个 Skills 和开源工具搭出 Fable 5.2 全流程视频制作链 — FinanceYF5 · 2026-11-15
- Simular Box 正式成为 ChatGPT 官方插件，日活用户居首 — xwang_lk · 2026-11-15