8.5M 参数从零造卢干达语模型 Pearl-Chat,分词效率两倍于 LLaMA-3
weskambale · x · 2026-10-19
Wesley Kambale 与 Roland Sankara 发布 arXiv 论文,从第一性原理出发用 JAX 和 Flax NNX 构建面向卢干达语(东非超 1000 万人使用的班图语)的原生小模型 Pearl-Chat。
核心内容:
- 模型仅约 8.5M 参数(causal decoder-only),用 JAX/Flax NNX 从零实现,采用函数式状态分解、Google Grain 可恢复数据流与 SPMD 张量并行;
- 自训 byte-level BPE 分词器(V=8192),压缩率 4.88 字符/token、fertility 1.60 token/词,对比 LLaMA-3(128K)与 Gemma(256K)等通用多语分词器压缩效率约提升一倍(配图基准中 GPT-4o BPE fertility 为 3.20);
- 两阶段课程:先在 59,501 条序列(平行语料、圣经、百科、新闻)预训练,再用 510 条对话做指令微调;验证困惑度从 12,959 收敛到 1.20;
- 三层诊断评测:记忆层 BLEU-4/ROUGE-L 均 1.0,域内验证 0.942/0.965,未见 query 泛化层 0.941/0.979。
意义:展示了低资源语言不值得直接套用通用多语模型时,如何用极小成本定制整套技术栈。
「研究」频道最新
- 投稿激增叠加 AI 冲击，多本概率顶刊宣布关闭投稿一个月 — michaelchchoi · 2026-10-19
- 裸 IPython 打平生产级 Agent 框架：工具输出归一化消除 9B 模型随机性 — HauntingMoment · 2026-10-19
- Kelly 与修大成发布 159 页《金融机器学习》讲义免费下载 — mdancho84 · 2026-10-19
- 一周 60 篇论文提炼：AI for Science 的六条关键经验 — bravo_abad · 2026-10-19
- 2014年微软研究院押注神经网络天气预报,如今登上 Nature — LesterMackey · 2026-10-19
- Nature:业余者用 GPT 破解尘封 85 年的德军密电,密码学家被验证请求淹没 — ChuckDBrooks · 2026-10-19