花 250 美元复现 Mini Kimi-K3，性能超越 GPT-2
OtherRaisin3426 · reddit · 2026-08-20
作者分享了花费 250 美元从头预训练一个 10.2 亿参数 Mini Kimi-K3 模型的过程。该模型复刻了 Kimi K3 的核心架构（包括 Kimi Delta Attention、Gated MLA、LatentMoE 等），使用了 50 亿去污 Token。尽管规模仅为 K3 的两千分之一，但在未进行指令微调的情况下，其 HellaSwag 评分达到 33.4%，超过了 GPT-2 (124M) 的 28%。
「模型」频道最新
- OpenAI 推出 GPT-Live-1.1 语音升级：新增六语种声音、更少卡顿 — OpenAI · 2026-10-16
- LMArena 上线 Muse Spark 新模型，Battle 与 Agent 模式可测 — arena · 2026-10-16
- 多模型同题设计 UI:用 Paseo 编排四套界面方案竞技 — vista8 · 2026-10-16
- Ilya 质疑 Meta 新许可证：年收入超 2000 万美元的推理服务商须与 Meta 另签协议 — ilyasu · 2026-10-16
- Muse-Spark 开源权重发布：816B MoE 模型 MLX 3bit 版已上线 — ns123abc · 2026-10-16
- 大 V 晒 Claude 用量矛盾账:周额度 33%、窗口 45%,却提示 API 额度耗尽 — TheMoonMidas · 2026-10-16