32位研究者耗时8个月，发布NLP分词领域最全面综述论文
christopher · x · 2026-10-01
一项新论文指出，tokenization（分词）是语言建模中被严重低估的研究领域，尽管它的影响贯穿整个 NLP。
过去约 8 个月里，32 位分词领域的研究者合作完成了该领域迄今最全面的综述，系统梳理了分词方法对语言模型的方方面面的影响。
「模型」频道最新
- 网友对比:gpt-6.1 sol max 更便宜且接近 astra max 智力 — pvncher · 2026-10-01
- 27B 模型 Q5 量化+131k 上下文塞进单张 24GB 3090，提速 13-17% — bjivanovich · 2026-10-01
- Bindu Redddy 实测 Sol 6.1:定时任务强、数据分析出色、性价比高 — bindureddy · 2026-10-01
- OpenCode 免费 Space Bunny 隐身模型日发万亿 token,实测可驱动 Blender 动画 — sidahuj · 2026-10-01
- Block AttnRes 研究发现:模型深处近四分之一层是「死层」 — ziv_ravid · 2026-10-01
- Claude 挑战黎曼猜想,作者复盘它到底做了什么 — elsleightholm · 2026-10-01