Ragged KV 让循环语言模型推理 FLOPs 直降 25%，无需重训练
DanielKhashabi · x · 2026-10-12
针对循环语言模型的研究：Ouro 模型号称支持动态计算（简单 token 可提前退出），实际上却对所有循环都做完整计算。作者提出修复方案：
- Ragged KV：在 Ouro 上减少 25% 的推理 FLOPs 与内存占用，精度不变，且无需重新训练。
- 全局退出目标：实现真正按难度感知的提前退出。
「Infra」频道最新
- Ben Bajarin:看内存别再套历史周期,AI 已抬升需求底部 — BenBajarin · 2026-10-13
- NVIDIA 携思科推出 USFP 光模块:单通道 400Gb/s,带宽密度 4 倍 — BenBajarin · 2026-10-13
- 机器人研究也要堆算力:一项工作用掉 64 块 H200 引热议 — chris_j_paxton · 2026-10-13
- 美国算力不够用? Foreign Policy 建议盟友托管数据中心换前沿 AI — abhiadesai · 2026-10-13
- 华为徐直军:昇腾国内份额已超英伟达,25.6万卡超节点部署中 — pstAsiatech · 2026-10-13
- CoreWeave 推出模型蒸馏预览:用生产数据训练小模型替代高价前沿模型 — altryne · 2026-10-12