Cohere Labs 技术演讲:预训练后期也能改动模型架构
Cohere_Labs · x · 2026-11-03
Cohere Labs 发布研究工程师 Anupam Nayak 的技术演讲,主题是如何高效变换 AI 模型架构:与其在预训练后固定架构不变,可以在训练后期对模型架构进行修改与调整。完整视频见原推链接。这一方向涉及训练后期的架构适配方法,对降低训练成本、复用已有训练进度有实践意义。
「研究」频道最新
- 评测研究者 LChoshen 加入魏茨曼科学研究所,创办 CoLab — LChoshen · 2026-11-03
- 编辑 0.016% 权重根治 Qwen 推理死循环，MATH-500 从 7.9% 升至 48.1% — DeliciousGorilla · 2026-11-03
- MIT 提出 Soft-MTP：一行代码去掉 80% 噪声梯度，免费提升 LLM 预训练 — kastnerkyle · 2026-11-03
- Aaron Roth 发布校准多准确性论文,与陆玖尧等合作 — Aaroth · 2026-11-03
- 多校准常被高估?Aaron Roth 提出只需全局校准加多准确性 — Aaroth · 2026-11-03
- MOPD 成今年技术报告高频词：TRL 现已支持多教师在线策略蒸馏 — SergioPaniego · 2026-11-03