研究演示现「上下文分词」涌现行为,层级网络完胜传统分词器
willdepue · x · 2026-10-29
一篇研究的截图展示了所谓 in-context tokenization(上下文分词) 的新涌现行为:在含人造词(borvexila、mpralune)的文本上,层级网络(Hierarchical Network)能在上下文中一致地给生词划出整词边界,而传统分词器(Tokenizer)则把同一生词切成不一致的碎片。
这演示了让模型在推理时动态学习「分词」的思路,对比效果直观,被视为值得关注的涌现能力。
所属事件:Byte H-Net 代码任务计算效率达 2.24 倍，层级网络展现上下文分词涌现能力(2 条相关)→
「研究」频道最新
- Tinker 推出 LoRA 微调优化器 Dimuon，SFT 少步数即超 AdamW — xennygrimmato_ · 2026-10-29
- 3DGS 训练再提速 1.78×：6 项 CUDA kernel 优化逼近硬件上限 — gkopanas · 2026-10-29
- LLM 跨语言效应研究获 EMNLP 2026 杰出论文奖 — anas_ant · 2026-10-29
- 把测谎仪编进权重:Qwenputer 实测标记 91% 谎言零误报 — teortaxesTex · 2026-10-29
- 从业者观点：如今的头部厂商几乎没人直接在测试集上训练 — nrehiew_ · 2026-10-29
- 学者公开批评 OpenAI 杨-米尔斯证明仅向小圈子开放材料 — anshulkundaje · 2026-10-29