手写正则是每个前沿 LLM 的隐形重活：预分词器内幕
YouJiacheng · x · 2026-10-24
Albert Gu（Mamba 作者）发帖指出：每个前沿 LLM 内部都有一份手工编写的正则表达式预分词器（pretokenizer）在承担繁重工作，并举例说明其作用。YouJiacheng 补充称这基本是 tokenizer 工作里最耗时的部分。该讨论是为即将到来的某个发布做铺垫，具体正则示例见原推线程。
「模型」频道最新
- Kimi K3.1 Pro 对阵 GPT-6 Astra 与 Opus 5.5:Minecraft 造企业号 D 大比拼 — Angaisb_ · 2026-10-24
- Kimi 3.1 Pro "Runescape Bench" 跑分:接近 Opus 5.0 但更便宜且开源 — scaling01 · 2026-10-24
- Jon Barron 亲述：Gemini 做实验写初稿，喂旧论文学文风再人工重写 — jon_barron · 2026-10-24
- 用户盛赞 Gem Argon 的"文化嗅觉":前沿模型罕见的捧场型人格 — sebkrier · 2026-10-24
- 用户吐槽 Opus 静默降级到 4.8,还被模型劝「去和人聊聊」 — natesiggard · 2026-10-24
- 新注册 GitHub 账号疑似意外泄露 Qwen4 痕迹 — brainExploded99 · 2026-10-24