RWKV-8 RPU 预览:实时推理达每秒 12500+ tokens
kastnerkyle · x · 2026-11-17
RWKV 团队放出 RWKV-8 RPU 预览演示,实时智能处理速度达到 12500+ tokens/s。作者表示当前模型仍处早期阶段,目标是到 2027 年让领先的开源 flash 模型也能以类似速度运行,更多更大规模的 RPU 演示即将推出。
「Infra」频道最新
- Lambda 完成全球首个大规模 CPO 部署:万卡 Blackwell Ultra 集群 — TheZachMueller · 2026-11-17
- M5 Ultra 512GB 本地跑 DeepSeek Flash:128K上下文生成54 t/s — vhthc · 2026-11-17
- Peter Diamandis:先建成吉瓦级算力的国家将制定智能定价 — PeterDiamandis · 2026-11-17
- Gemini Managed Agents 支持自托管:模型在谷歌跑,工具在你机器上执行 — _philschmid · 2026-11-17
- AI 预算悖论:日常任务用最贵模型,真正的重写却被月度额度卡死 — ruslansv · 2026-11-16
- llm-d 边缘推理实践:prefill 与 decode 分离部署的真实案例 — HowDevelop · 2026-11-16