swift-transformers 1.4.0 发布：分词对齐 Transformers，解码行为有破坏性变更
pcuenq · x · 2026-11-02
Hugging Face 发布 swift-transformers 1.4.0，由 15 位贡献者（其中 10 位新人）参与，重点是分词正确性、性能以及与 Transformers 库的对齐。
关键变更：
- 解码兼容性破坏：cleanuptokenizationspaces 缺省时默认为 false，且 BPE 分词器即使设为 true 也跳过清理，例如 x != y 不再被错误地变成 x!= y。编码与 token ID 不变，但解码文本可能变化，受影响的包括启用了清理的 Llama 3.x 配置。需要旧行为的可在 tokenizerconfig.json 中显式设回 true。
- 分词器加载时若 Split pre-tokenizer 或 Replace normalizer 的正则编译失败，现在会抛出 TokenizerError.invalidRegex。
「Infra」频道最新
- theo 称 T3 Code 吞吐量两倍于整个 OpenAI,被指混淆了 token 路由 — scaling01 · 2026-11-02
- GitHub Actions 按分钟向上取整计费,短任务合并可省大量 CI 费用 — DanielLockyer · 2026-11-02
- 10 天从 252GB 压到 93GB：社区量化 MiniMax M3.1 Flash 获官方点名致谢 — Dependent-Bid1391 · 2026-11-02
- UBS 曝 Musk Terafab 重构晶圆厂:晶圆仅 25% 时间在加工 — BenBajarin · 2026-11-02
- Unsloth 发布 DeepSeek-V4.1-Flash GGUF，1-bit 版领先其他量化超 10% — solyarisoftware · 2026-11-02
- 马斯克：未来超级智能算力将几乎 100% 部署在太空 — elonmusk · 2026-11-02