vLLM 实现 Gated DeltaNet 训练推理位级对齐
AccBalanced · x · 2026-08-07
vLLM 项目宣布，在结合 TorchTitan RL 与 vLLM 时，针对线性注意力机制成功实现了训练与推理的位级一致性。
技术细节显示，Gated DeltaNet 的递归内核具备批次不变性：它仅依赖序列自身的状态和固定顺序，不进行跨序列归约。实验证实其对数概率差精确为 0，且现有的前缀缓存机制无需修改即可直接兼容。
「Infra」频道最新
- 扛住日均 90 亿请求：Cloudflare 将 cdnjs 全量迁移至自家平台 — JeremyCMorgan · 2026-08-07
- 英伟达 RTX Pro 6K 现货一机难求，算力租赁持续涨价 — blelbach · 2026-08-07
- RTX 4080 笔记本跑 MiniMax H3 视频生成：单段耗时近一小时 — Last-Pie8057 · 2026-08-07
- Cloudflare 被看好成下一个英伟达，股价盘后大涨 — xiaohu · 2026-08-07
- 突破 200 tok/s！动态量化技术大幅提升本地大模型推理速度 — gajesh · 2026-08-07
- KVM/x86 爆出虚拟机逃逸漏洞 Zapscape — cyb3rops · 2026-08-07