Meta 研究员承认:模型未针对 Codex 调优,将改进 harness 随机化
JoshPurtell · x · 2026-11-07
围绕 pi、CC、swe-mini 等模型的评测讨论中,用户指出「我们的模型从没为 Codex 调优过,换其他 harness(如 CC)效果会好得多」。Meta 的 soumithchintala 回应称将改进 harness 随机化以覆盖 Codex,并承认在泛化到前沿模型水平上还有很长的路要走,感谢社区反馈。JoshPurtell 表示正在为 pi、CC、swe-mini 跑 rollouts 验证。
所属事件:PyTorch 创始人承认评测 harness 随机化拖累模型成绩(3 条相关)→
「编程与Agent」频道最新
- Theory Ventures 12月办 AI Agent 黑客松,五小时经营面包店比盈利 — HamelHusain · 2026-11-07
- Theo 谈 T3 Code 定位:多设备重度用户才值得换,单订阅用户提升有限 — IsForAt · 2026-11-07
- Google 研究:开发者期望智能体「即插即用」,却期望新人通过 code review 成长 — rseroter · 2026-11-07
- 独立开发者搭自动写稿流水线:只有真正发布才生成分享草稿 — petrusenko_max · 2026-11-07
- 该自研还是租用 LLM?先护住公司的「大脑」:记忆、决策与数据 — petrusenko_max · 2026-11-07
- Wayfinder 链上交易 Agent 新增限价、止损等全套订单类型 — templecrash · 2026-11-07