乌干达团队训练出 3.5 亿参数卢干达语对话模型，算力已烧光
weskambale · x · 2026-11-14
AI for Uganda 团队发布 pearl-chat-350m-it：一个 3.5 亿参数、严格单语的卢干达语多轮对话模型，较此前 46m/85m 版本明显升级。
- 训练流程分多阶段：Stage 1 广泛预训练、Stage 1.5 WSD 乌干达知识退火、Stage 2 在 14,809 条单轮与多轮对话上做分桶长度监督微调
- 技术栈为 JAX + Flax NNX（safetensors 序列化），采用分组查询注意力与滑窗注意力，Apache-2.0 许可，权重已在 Hugging Face 开放（gated）
- 团队坦承 SFT 末端存在一定过拟合，且算力预算已经耗尽
「模型」频道最新
- Plus 用户控诉 ChatGPT 订阅缩水：限额回归、新功能被排除 — fyn_world · 2026-11-14
- 实测决策模型：训练仅换来速度与成本，推理能力并未恢复 — someone_12443 · 2026-11-14
- 实测 DeepSeek 语音识别 API：每小时 4 毛却输给本地 1.7B 小模型 — AGI Hunt · 2026-11-14
- 让 AI 玩帝国时代2：多数模型分不清金矿和浆果 — max_paperclips · 2026-11-14
- Claude MCP 服务今晨罕见宕机,博主质疑与多起故障并非巧合 — AiBreakfast · 2026-11-14
- Claude Fable 5.2 一次提示做出 FPS 游戏，美国工程师入职量腰斩 — APPSO · 2026-11-14