TokTier 用有状态分词加速智能体服务并保持精确一致
omarsar0 · x · 2026-08-04
TokTier 是一个面向 agentic LLM serving 的有状态 tokenization 服务，目标是在不改变分词结果的前提下，把会话续写和缓存复用做得更快。
- 作者指出，在真实 agent 流量里，tokenization 最高可占到 首 token 时间的 64%，原因是编码 agent 每次工具返回后都会重发长对话上下文。
- TokTier 的做法是：只对追加内容附近的一小段重新分词，做稳定边界检查，只有确认安全才拼接复用；如果没有可复用前缀，就退回到精确预分词和 GPU BPE。
- 论文声称，在大规模差分测试中没有出现 token ID 偏差；增量修复在 100K 到 300 万字符范围内只需 0.5–1.1 ms，某些区间比 Hugging Face 快 最高 437 倍。
「编程与Agent」频道最新
- 开源工具 Enkstein 统一管控 Codex、Claude、Gemini 和 Ollama — wcoreiron · 2026-08-04
- Gemini Spark 已能接 MCP，但每个工具都得反复授权 — tristanbob · 2026-08-04
- Agent 应用该先暴露技能面，再逐步固化成代码 — burny_tech · 2026-08-04
- 同一个 session 里可用 subagent 切换模型 — dotey · 2026-08-04
- xAI 用 Grok 4.5 升级 Grok Build，加入技能和计划模式 — elonmusk · 2026-08-04
- 自定义搜索 RL 训练，可能比“单一大模型”更有效 — shangbinfeng · 2026-08-04