独立开发者求发起 9.4B 稠密模型训练,单卡可跑全程开源
NineThreeTilNow · reddit · 2026-09-13
LocalLlama 用户发起征集：他已完成一个约 9.4B 参数稠密模型的全部设计与稳定性测试，准备免费开源训练并征求社区对用途的意见。
- 技术细节：包含 1/2/3 层 Engram 表注入、Moonshot 风格 AttnRes 建模、RoPE/NoPE 3:1 分层；使用 Llama 3 tokenizer 与 LM Head 起步，训练数据为从 Llama 3 教学模型提取的 logit 级数据。
- 他在单张 4090 + 租用硬件上完成了全部数据生产，训练代码针对单张 RTX 6000 Pro 深度优化；目标是训练出强于现有 9B 级模型的版本，并加入 open standard 的 thinking 能力。
- Qwen 新模型发布让他确认 Engram 单表注入即可拿到大部分收益，于是把设计从 2 表减到 1 表。
- 代码、数据全部公开在公共仓库；过程中还发现并上报了 vLLM prompt 加载代码可提速 10-100 倍的问题。
「模型」频道最新
- 曝 Gemini 4 Carbon 实测:比 Opus 5.5 便宜 3 倍、快一倍以上 — vitaliychiley · 2026-10-31
- 4B 小模型 Spark-X2.6 跑出 94.6 分,反超多个 27B-35B 热门模型 — mesolimbic-bliss · 2026-10-31
- opencode 晒账单:$100 就能用上 DeepSeek V4.1 Flash — intellectronica · 2026-10-31
- 开发者称发现 LLM 内核代码 600+ 漏洞,Claude 以安全为由拒答 — pmddomingos · 2026-10-31
- Signal65 实测:Snowflake CoCo 智能体完成工作流快 4.6 倍 — ryanshrout · 2026-10-31
- Mistral Large 4：与 GLM 编码持平但省 47% token，再把预览价砍半 — petrusenko_max · 2026-10-31