独立开发者预训练 11M 参数稀疏 MoE 小模型，开源供专项微调
Nameis19letterslong · reddit · 2026-10-23
开发者在约 5.7B token 上预训练了一个超小型语言模型 LS-Micro-Base：11M 参数的稀疏 MoE（7.28M 主干、激活约 5.52M、2 专家 top-1 路由，另有 4.21M ngram），支持 2048 上下文，远超同尺寸模型常见的 256/512。
按其自建 Open SLM Leaderboard 的估算，总体约排前 64%，50M 以下前 47.4%，10M 以下前 37.6%。
定位是作为专项任务的基底：语料混合了通用知识、对话、数学、工具调用、指令和代码，用户可自行微调成摘要、代码补全、路由模型或文本分类等专用模型。作者同时开源了完整训练管线 cudalm-c（CUDA 实现、支持 Blackwell、CPU 全功能对等），HuggingFace 模型卡底部有约 5 分钟的快速上手指南。
「模型」频道最新
- 传 Anthropic 封堵 REA 玩法，Claude 已不再执行 — kingslyj · 2026-10-23
- 爆料称 Google 开发 Decision 模型，Gemini API 将新增 createDecision 接口 — lyraxana · 2026-10-23
- 实测 DeepSeek V4.1 Flash:官方API缓存率99%碾压转售渠道 — teortaxesTex · 2026-10-23
- 博主实测：1017 在复杂机器搭建任务碾压 Opus 5.5 与 Astra — teortaxesTex · 2026-10-23
- 教授提醒：LLM 时代请保留你自己的独特文风 — plopesresearch · 2026-10-23
- 曝 Kimi K3.1 即将发布,截图显示已上线 Kimi Code — 141_1337 · 2026-10-23