Transformers v5.21 发布：FP8 KV 缓存、MoE 分片与新 TTS 模型
LysandreJik · x · 2026-10-27
Hugging Face 的 Lysandre 介绍 Transformers v5.21（v5 后平均每 12 天一版）。新模型包括：100M 参数、CPU 上超实时语音生成的 Pocket TTS、Gradium Phonon TTS、MiniCPM-OCR、UltraVBert、Flint 及 Pocket TTS 音频 tokenizer。
更深层的更新在推理基础设施层面：
- 新增 FP8 KV-cache 后端
- MoE 专家按 TP/EP rank 分片，而非每个 rank 存全部专家
- 张量并行下输入 embeddings 默认分片
- Flash Attention 支持静态缓存
- Chunked prefill 可从现有缓存续跑，continuous batching 持续提效
作者强调这些不只是 model.generate() 用户的功能，而是推理引擎与训练栈可直接使用的基础原语。
「Infra」频道最新
- Google 与 Meta 联合发布 TorchTPU，PyTorch 原生跑上 TPU — emmanuelvivier · 2026-10-27
- WireGuard 教程：设备跨网络加密互连，无需暴露应用 — victorialslocum · 2026-10-27
- DeepSeek-V4.1-Flash 1.75bpw 量化版上线，专供 128GB Mac 本地跑 — bobby-chan · 2026-10-27
- Unsloth 发布 DeepSeek-V4.1-Flash 本地运行指南：128GB 内存可跑 1M 上下文 — gnukeith · 2026-10-27
- SK hynix 股价腰斩但 DDR5 现货涨 31%，市场押注存储景气和memory周期见顶 — tengyanAI · 2026-10-27
- JustGOAL 论文:通用前沿模型打赢 GPU 内核优化专用 Agent — azed_ai · 2026-10-27