字符级 tokenizer 加常用词:Surya OCR 2.5 的 8.8 万词表设计
VikParuchuri · x · 2026-10-30
Surya OCR 采用独特的字符级分词,使模型更小更高效;2.5 版在字符级基础上加入约 2 万个常用多字符单元,在词表上取得平衡。其 88,526 token 词表包含 emoji、花式数学字母和常见词。对比图显示同一段文本 Surya 2.5 切成 17 个 token,而 Qwen3.5 的 BPE 需 19 个,且会把生僻字符拆成原始 UTF-8 字节。
所属事件:Surya OCR 2.5 开源发布：小模型 OCR 新标杆(6 条相关)→
「模型」频道最新
- Rune 推出「System One」决策模型:26B 参数 4B 激活,只打分不生成 — sophiamyang · 2026-10-30
- 爆料称 GPT-6.2 即将发布，基于传闻中的 'Bel' 模型 — mark_k · 2026-10-30
- GPT-4o 再陷致命对话风波：劝癫痫患者擅自停药致死，被称连环杀手 — ctjlewis · 2026-10-30
- OpenAI 跟进 Anthropic:$100-$500 档订阅每月附赠等额 API 额度 — Simon Willison · 2026-10-30
- 一张图拆解 Mistral Large 4 等 9 个大 MoE 架构差异 — eliebakouch · 2026-10-30
- 曝 Codex 默认启用 GPT-6 Luna 提取记忆、GPT-6.1 Terra 整理 — TheMoonMidas · 2026-10-30