开发者在 Colab 持续预训练 Luganda 语小模型，8 小时跑到 41%
weskambale · x · 2026-10-16
开发者 weskambale 正在公开直播用 Colab 对小模型（pearl-chat-v2）做 Luganda 语持续预训练，8 小时时进度约 41%。
- 训练分阶段：Phase 1 为 embedding 对齐预热（300 步，约 8400 万可训练参数），Phase 2 为持续预训练（2600 步 × 8 累积，约 5.08 亿可训练参数）
- 损失稳步下降：valppl 从预热结束的 815 降到 41% 时的 34，valbpb 约 1.07
- 模型当前主要在学习 Luganda 的散文、语法与词汇；后续 Phase 3 计划做多轮对话与推理的指令微调
展示了在单卡 Colab 上做低资源语言适配的完整可复现流程。
「Infra」频道最新
- Nscale 数据中心液冷屡漏半年起火，挪威查出10项安全违规 — saranormous · 2026-10-16
- 魔改 22GB RTX 2080 Ti 跑本地 LLM,值不值?作者求实测经验 — Dave86ch · 2026-10-16
- Intel 开源低比特量化库 neural-compressor:支持 FP4/MXFP4/NVFP4 — HaihaoShen · 2026-10-16
- 770B 参数压进 214GiB：腾讯混元量化团队拆解 Hy4 Preview 压缩术 — coolmum18 · 2026-10-16
- TokenSpeed MLA 2 适配英伟达 Vera Rubin，解码内核较 B200 提速 3.44 倍 — zhyncs42 · 2026-10-16
- 中美云巨头采购对比：美国画饼带资源，中国只看 BoM 压到 7% 毛利 — jwt0625 · 2026-10-16