Anthropic 2021 年研究路线图曝光:预训练、对齐 scaling law 全在列
srush_nlp · x · 2026-10-14
因版权诉讼被迫公开的 Anthropic 2021 年内部研究路线图被 @smitop 找出,srushnlp 转发称「很有意思」。
从配图可见路线图包含两大板块:
- 预训练与数据:训练最优的语言+代码模型;构建含自然语言、代码、diff、PR、调试数据的数据集;用 diff/Wikidiff 等数据微调以「把人类意图连接到模型行为」;研究 1T 参数以上模型的训练方法、超长上下文(或等效的记忆/经验打包方案)与数据质量。
- 人类反馈与对齐:用人类反馈训练通用有用模型;识别与分类对齐失败;明确提出「Alignment 的 Scaling Laws」,研究 Reward Model 在 on-policy 人类反馈数据与 GAN 判别器数据上的鲁棒性,以及人类反馈的必要资源投入。
这份文件展示了 Anthropic 早期(2021)的研究优先级,与后来 Claude 系列和 RLHF/Constitutional AI 的实际路线高度对应。
「公司和人」频道最新
- Coinbase 微调 Qwen3.5-9B 做反欺诈，胜过前沿模型且更便宜 — lmoroney · 2026-10-14
- Progress 运动正处好时刻：杂志、讲座与学生社群全面开花 — Afinetheorem · 2026-10-14
- OpenAI 窃听案疑为个人牟利而非国家级间谍，设备仍潜伏 — beffjezos · 2026-10-14
- Character.AI 月活1200万、日均2小时，风投为何迟迟不敢接盘 — signulll · 2026-10-14
- 美国诊所 81% 下班后来电无人接听,AI 接管呼入成解药 — HealthcareAIGuy · 2026-10-14
- Meta CFO 曾警告扎克伯格「失败会很惨」,后者回应被称为年度最佳风险观 — robleclerc · 2026-10-14