Bolmo 配方:短程训练即可把子词模型改造成字节级模型
allen_ai · x · 2026-10-07
AI2 介绍其字节化方法:通过一段短程附加训练,把现有子词模型适配到字节,同时保留模型核心权重;新增组件将字节分组为变长 patch 供模型处理,再把输出扩展回字节级表示以预测下一个字节。
所属事件:AI2 字节级语言模型 Bolmo 研究登上 Nature 并开源权重(6 条相关)→
「研究」频道最新
- 用 Qwen3-1.7B 初始化统一 DiT 训图像模型,2 天出首批样本 — ostrisai · 2026-10-08
- OpenAI 公布 722 项数学成果,密码学突破罕见缺席引审查猜测 — burny_tech · 2026-10-08
- DeepMind 携手陈-扎克伯格倡议,共建多模态生物数据集 — pushmeet · 2026-10-08
- 研究：Transformer 训练越久越难外推长序列，weight decay 加剧退化 — andre_t_martins · 2026-10-08
- NeurIPS 论文:首 token 概率分布藏安全信号,可跨模型防御越狱 — mohitban47 · 2026-10-08
- TTT 记忆让智能体持续学习，作者将在 COLM 高效推理工作坊分享 — JunjieHu12 · 2026-10-08