Cohere 研究员:预训练效率增益不值得保密,该公开验证损失
eliebakouch · x · 2026-11-06
Cohere 研究员 Elie Bakouch 探讨了「保密与开放之间的光谱」：在预训练加速 AI 研发方面，公开相对上一代架构的效率增益即使被外界知道来源(数据/架构等)也不会帮助对手加速，因此不值得保密。
他建议公开的候选指标包括：像 OpenAI 曾经发布那样的 monorepo 验证损失、短 SFT 后接 RL 阶段的 SWE-bench 成绩、hinted scaling laws 等，这些都属于可以公开的研究性信息。
他还提议量化 METR 访谈中提到的「有了 Claude+ scaffold 研究员能尝试更多想法」：比如统计每名研究员每周产生多少想法并公开。
所属事件:研究员称预训练效率增益可公开不会助对手加速(3 条相关)→
「研究」频道最新
- 模型价值等于省下的条件熵：世界越乱，模型公司越难赚钱 — xiaosun86 · 2026-11-06
- AI 领域最值钱的秘密，是那些「此路不通」定理 — fkasummer · 2026-11-06
- 隐藏信息评测翻车:Agent 猜中 RNG 种子 2026 恢复像素置换 — RobertTLange · 2026-11-06
- OpenTac 实现高动态范围触觉感知，同一传感器同时测轻触与重压 — _krishna_murthy · 2026-11-06
- LLM 空间推理实测依旧拉胯，但跑赢进化优化器证明有泛化 — teortaxesTex · 2026-11-06
- IEEE 触觉专刊征稿：聚焦接触式灵巧操作中的触觉感知 — HaozhiQ · 2026-11-06