toks 用纯汇编实现 tokenizer:8 核编码速度达 1.8 GB/s
cephaloform · x · 2026-10-07
actualinc 推出的 toks 将大部分计算用纯汇编实现,称「速度的唯一上限应该是硅片本身」。数据:tokspar 在 8 个 GB10 核心上以 1.6 GB/s 编码 16 MiB 输入,在 8 个 Zen 5 核心上达 1.8 GB/s,且输出与串行调用完全一致(id 相同),即并行化不改变分词结果。
所属事件:Actual 发布纯汇编 tokenizer toks，速度最高超 Hugging Face 151 倍(3 条相关)→
「Infra」频道最新
- PyTorch 用 Triton 替换 CUDA，推荐系统 kernel 前向提速 1.28 倍 — PyTorch · 2026-10-07
- B200 价格飙升,网友调侃英伟达该反思卖卡对象了 — matt_slotnick · 2026-10-07
- Google 与 MIT 发布 Coco:用智能体辅助 TPU 硬件-模型协同设计 — dair_ai · 2026-10-07
- 单 GPU 开发者自建桌面 API 网关：统一 OpenAI/Anthropic 兼容接口 — rootshelldev · 2026-10-07
- PyTorch 大会将讲 DeepSpeed 张量/序列/专家并行新用法 — PyTorch · 2026-10-07
- 曝 SpaceX 拟融资 400 亿美元购置英伟达 AI 芯片，Apollo 牵头 — Polymarket · 2026-10-07