Ai2 字节级模型 Bolmo 研究登上 Nature,并开放 Stage 1 权重
allen_ai · x · 2026-10-07
Ai2 宣布其全开源字节级语言模型 Bolmo 背后的研究正式发表于 Nature,同时发布新 checkpoint。
- 字节级建模:多数模型先做子词切分,处理拼写、罕见词、非常规字符串时不够灵活;Bolmo 直接处理字节序列,摆脱固定词表,对文本细粒度结构(空白、不同书写系统)理解更好。
- 扩展到其他模型族:新 checkpoint 将该方案从 Olmo 扩展到其他模型家族;字节也可表示图像与音频,同样思路未来有望延伸到文本之外的多模态。
- Stage 1 checkpoint:保持原全局模型权重冻结、只训练字节级组件,研究者可在此基础上测试新架构并训练完整系统,无需重训昂贵的第一阶段。
所有模型与 checkpoint 在 Hugging Face 开放。
所属事件:AI2 字节化研究登 Nature，Bolmo 开源新 checkpoint(8 条相关)→
「模型」频道最新
- Anthropic 研究员发俳句暗示 Haiku 从 4.5 跳到 5.5 — edwinarbus · 2026-10-08
- GitHub HydraFusion 支持本地模型路由,微软推 3-bit 256K 版 MAI Code 1.1 — BenBajarin · 2026-10-08
- 曝 OpenAI「28 天改进」第 3 天:GPT-6 今日上线 ChatGPT,新增智能 UI — mark_k · 2026-10-08
- Claude Haiku 5.5 定价公布:短提示输入 $0.10/百万 tokens — ClaudeDevs · 2026-10-08
- Claude Max/Team 计划送月度 API 额度:最高 $500 可池化 — ClaudeDevs · 2026-10-08
- OpenAI 全量推送 GPT-6 与 Intelligent UI:答案更可视化、可交互 — dkundel · 2026-10-08