Liquid AI 员工长文拆解端侧小模型设计:antidoom 训练把死循环从 10% 降到 1%
helloiamleonie · x · 2026-09-25
Liquid AI 研究者 helloiamleonie 发布长线程,系统讲解 LFM2 系列端侧小模型(LFM2.5-350M 到 2.6B)的完整设计方法。要点:
- 三大约束:内存(iPhone 8GB 中约 4GB 可用,权重+KV cache 都要塞进去)、速度(智能体工作流涉及大量工具调用与推理步)、质量。
- 架构:效率必须从底层设计。小模型普遍混合全注意力层+高效层;理论加速与实际有差距,因此做 on-device profiling,最终采用 grouped query attention + gated short conv 的组合。
- 嵌入层问题:小模型因大词表导致 embedding 层占比过大,有效参数更少,他们尽量压缩 embedding 使有效规模贴近总参数量。
- 后训练流程:现代流程 = SFT → RL,外加 on-policy distillation 与 agentic RL。
- antidoom training:解决小推理模型的 doom loop(死循环约 10%)。检测死循环→定位触发的首个 token→reject 并降采样→上采样替代 token,在 LFM2.5-2.6B 上把死循环从 10% 降到 1%。对 RLVR 稀疏奖励问题的补充。
所属事件:Liquid AI 发布 LFM2.5-2.6B 并拆解端侧训练配方(10 条相关)→
「模型」频道最新
- 用户控诉 Google：$20 AI 附加费后企业版 Gemini 卡在旧模型 — thedealdirector · 2026-09-25
- Google $20 AI 附加订阅被指锁死旧模型,企业版 Gemini 停在旧版 Flash — thedealdirector · 2026-09-25
- 阶跃 Step-5-Preview 实测:输出极稳,擅长 Agent Loop 打磨细节 — karminski3 · 2026-09-25
- Opus 5.5 登 WeirdML v3 得 31.2%,超 Fable 5.1 但远落后 GPT 6 Astra — scaling01 · 2026-09-25
- Sora API 今日正式关停,OpenAI 未提供替代产品 — VraserX · 2026-09-25
- 「LLM 终将亲手写汇编」?Greg Mushen 看到一个例子不再怀疑 — gregmushen · 2026-09-25