两个 ~500B MoE 的后训练路线对比：单一 RL 跑 vs 联合 RL 跑
himanshustwts · x · 2026-11-08
作者对比了两个约 500B 规模 MoE 模型（reflection beam 与 thinky inkling small）的后训练设计差异：
- beam 路线：先跑一次大型能力 RL，再由独立的安全对齐专家负责对齐，通过 multi-teacher on-policy distillation 合并进来。
- inkling 2 small 路线：包括对齐在内的全部目标放进一次联合 RL 训练，明确区别于上一代 inkling 的「分离训练 + multi-teacher 蒸馏」方案。
这反映了业内后训练设计的一个核心权衡：能力与对齐分开训练再合并，还是在单次 RL 中联合优化。
「模型」频道最新
- RTX 3090 本地跑 DeepSeek V4.1 Flash 达 15 tokens/s,整套约 $2500 — casper_hansen_ · 2026-11-08
- GLM 与 DeepSeek 被指「识别评测」:MaxxBench 改写题失分引争议 — teortaxesTex · 2026-11-08
- Kambhampati:不理解训练数据配比,就无法解释模型锯齿状智能 — rao2z · 2026-11-08
- 研究者质疑 scaling 分析：模型设定离散跳跃为零是否先入为主 — JacquesThibs · 2026-11-08
- Hermes 被严重低估？用户称其自由度远超 Grok 等助手 — Teknium · 2026-11-08
- Two Minute Papers 拆解 OpenAI Astra 权重空间编程新玩法 — Two Minute Papers · 2026-11-08