Meta 论文:算力足够大时字节级模型反超 token 模型最高 4%

omarsar0 · x · 2026-09-14

• Meta 论文显示：字节级模型在低算力时落后于 token 模型，但随着算力增长会实现反超。实验基于在最多 1 万亿字节上训练的蒸馏 1B 模型。
• 蒸馏方法：将 token 教师模型的 logits 转换为字节 logits，有近似（Marginalize-It）与精确（End-Of-Token）两种方式。
• 关键结论：token 模型低算力领先但性能有平台期；字节模型上限更高，拟合的 scaling law 预测 End-Of-Token 模型最终领先蒸馏 token 模型最多 4%。
• 效率收益：字节模型用六分之一的训练数据即可追平蒸馏 token 模型；256 词条的小词表可把教师 logits 存储压缩到约五分之一。

原文链接 →

「研究」频道最新

• AIR 调度器:按有效学习率设计,128B token MoE 预训练超越 cosine — stochasticchasm · 2026-10-30
• NVIDIA 研究员：利用仿真特权信息训练机器人策略，改进 Pi 0.5 — wellecks · 2026-10-30
• CMU 用 Agent 自动造 200+ 软件环境,Gym-Anything 拿 GDP 数据选题 — wellecks · 2026-10-30
• CMU 用 Agent 自动建 25 个物理仿真:前沿模型测试任务 0 通过 — wellecks · 2026-10-30
• 仿真训练的关键红利:利用模拟器特权信息改进模型 — wellecks · 2026-10-30
• DeepMind f_charton 谈 AI 与数学现状：庞加莱研究所演讲上线 — f_charton · 2026-10-30

更多「研究」频道 AI 资讯 →