Cartesia 发万字博客:抛弃 tokenizer,字节级层级网络才是下一个 scaling 台阶
SonglinYang4 · x · 2026-10-29
Mamba 作者 Albert Gu 发布 Cartesia 研究博客《From Tokens to Bytes I: Scaling Hierarchical Networks》(配语音全部由 Cartesia Sonic TTS 生成)。
- 核心主张:bitter lesson 尚未彻底贯彻——LLM 仍依赖 tokenizer 等人工编码步骤,阻碍端到端从原始数据学习;字节级语言模型是下一个能力跃升的基础,也是通用学习方法的试金石。
- 技术路线:提出层级网络(hierarchical networks)从字符/字节直接学习,系列博客分两部分展开 scaling 实验。
- 背景动机:在科学、机器人、生物等数据稀缺且人类难以特征工程的领域,尽量少人工先验、直接从低层原始数据学抽象,会越来越重要。
所属事件:Mamba 作者推 H-Net 新版:字节级建模效率提升 3-5 倍(4 条相关)→
「模型」频道最新
- DeepMind 又先官宣后开放,用户吐槽等 Gemini Xenon — adonis_singh · 2026-10-29
- Alphabet Q3 财报电话会要点：新前沿模型 Gemini Carbon 与 AI Mode 广告扩张 — lilyraynyc · 2026-10-29
- gpt-6.1-terra 连跑 4 小时浏览器操作,每秒约一次动作 — prd_008 · 2026-10-29
- AA Index 恰在 Gemini Carbon 发布前改版,网友质疑新榜利好新模型 — stablequan · 2026-10-29
- Gemini 4 Carbon 登顶文本榜,Agent 榜第二且成本仅为 Opus 28% — prajdabre · 2026-10-29
- 谷歌模型按元素表起名遭吐槽:碳之后还藏着个钡? — andrew_n_carr · 2026-10-29