仅 7% 训练算力用于预训练？repligate 追问这数字到底指什么
repligate · x · 2026-10-10
repligate 引用一条称「只有 7% 的训练算力用于预训练」的推文，追问这个数字的确切含义：是指某个最终 checkpoint 的训练历史中 7% 算力花在预训练，还是实验室总训练算力中只有 7% 用于预训练？他指出前者更合理——实验室会迭代并废弃大量 post-training 运行。被引用者还担心 RL 压力可能覆盖基座模型学到的「善良与人性」，但如果对齐仍能保持，或许说明对齐足够稳健。
「模型」频道最新
- repligate:Opus 3 能编织完整世界,堪称超智能子智能体 — repligate · 2026-10-10
- 小米 MiMo-V2.6 论文：AI 自建任务自查作弊，260 万美元 RL 把 DeepSWE 刷到 72.6 — rohanpaul_ai · 2026-10-10
- 用户实测：GPT-6.1 Sol 成24小时主力模型,Pro 5x 周额度都烧不完 — haider1 · 2026-10-10
- 进化策略比肩策略梯度,LLM微调研究获最佳论文亚军 — caglarml · 2026-10-10
- 数学家怒谈 LLM 破局：玩解谜式「假装研究」的时代结束了 — burkov · 2026-10-10
- 同一位公众人物 GPT 称无法识别,Gemini 却认得出,护栏差异引质疑 — armanddarke · 2026-10-10