Cartesia H-Net 展示「上下文分词」:模型无分词器也能学会切分 DNA 与生词
TheTuringPost · x · 2026-11-06
The Turing Post 介绍 Cartesia 新 H-Net 模型展示的「in-context tokenization(上下文分词)」现象:模型无需固定分词器,上下文会改变它把信息分块的方式。
- 给 H-Net 一个编造的词,最初它切成碎片,见得越多,分块就越完整;代码中反复出现的模式与命名也如此
- 在细菌 DNA 上训练的独立 H-Net,看到人类基因时也能识别出基因结构——对 DNA 预测任务有效
- H-Net 对比 SmolLM3:用少得多的训练数据达到相近效果
作者由此提出更大问题:能否让系统为自己学习的每类数据自学组织方式?配套视频讲解了 H-Net 工作原理。
「研究」频道最新
- ICLR 评审结果 [D] 即将放出，作者们还在苦等 — Invariant_n_Cauchy · 2026-11-06
- 研究者用 AI 评估 1660 篇 STOC 投稿,回应排名争议 — vitalyFM · 2026-11-06
- 斯坦福启动「协作智能」项目，聚焦人机协作改变未来工作 — Diyi_Yang · 2026-11-06
- Chai Discovery 开源 Chai-1，年内连揽 GSK 罗che 等七大药企合作 — chaitjo · 2026-11-06
- JHU 研究：四类失败数据如何影响机器人奖励模型质量 — mangahomanga · 2026-11-06
- DFlash 2 并行草拟破解投机解码瓶颈:多接受 21% token 仅增 1.3% 延迟 — songhan_mit · 2026-11-06