1.7B 模型反杀 12B:架构匹配任务比堆参数更关键
Thrumpwart · reddit · 2026-10-31
一位 Reddit 作者长期在单张 RTX 6K 上做小模型架构改造实验,对 Qwen3.5 4B/9B 等模型做 RYS 层复制,不仅训练权重还调整模型几何结构。其 Qwen 3.5 9B(扩层后 12B)每次 SFT 要跑 14-18 小时,外加多轮 RL 和 SLERP 合并才拿到最好成绩。改用 Liquid AI 的 LFM3 1.7B 做双层扩展到 3B 后,首轮 SFT 仅 107 分钟(2600 步、约 10 万样本),未经任何 RL 就全面超过此前 12B + 8 轮 RL 的最佳结果。排查后原因在于:LFM3 采用 Width-7 卷积/SWA/GQA 架构,20 层堆叠的 Width-7 Gated ShortConv 与其长程状态追踪推理任务高度契合;而 Qwen 的 Gated Deltanet 架构并不适合。讽刺的是 Liquid AI 官方明确建议不要将 LFM3 用于复杂多步推理,两个 LLM 也都断定此路不通。结论:基准分数和厂商建议之外,架构与任务的匹配度有时比参数量更重要,值得大胆尝试。
「模型」频道最新
- Particle 推出 token 高效模型 Particle-1，上线 Cloudflare AI Gateway — garrytan · 2026-10-31
- OpenAI 发布 L=BPL 证明，或有 AI 生成形式化数学证明 — chaumian · 2026-10-31
- 用户抱怨:AI 模型又开始「擅自脑补」不存在的商品 — abhishek_8899 · 2026-10-31
- Matt Wolfe 周报:Anthropic 拟 IPO、GPT-6.1 与 Genie 4 同周炸场 — Matt Wolfe · 2026-10-31
- Qwenputer：把完整 RISC-V CPU 塞进 Qwen3.5-4B 权重里 — armand_ruiz · 2026-10-31
- OpenAI 收紧青少年保护：屏蔽武器与安防细节，可自动终止暴力话题对话 — rohanpaul_ai · 2026-10-31