llama.cpp 合并 FP8 KV-cache 支持，单 PR 改动 710 行
Kahvana · reddit · 2026-11-11
ggml-org/llama.cpp 合并了编号 #28392 的 PR「Add FP8 KV-cache support」，由开发者 ORippler 提交，包含 24 个 commit、16 个文件、约 +710/-25 行改动，经 13 次 review。FP8 KV-cache 可显著降低长上下文推理时的显存占用，对本地部署和端侧推理是实用优化。
「Infra」频道最新
- LeRobot 0.7 发布：流式训练 10.7TB 数据集，等待数据仅占 0.52% — LysandreJik · 2026-11-11
- 单张 32GB 卡跑 763B DeepSeek：50 tok/s 与 2-bit 量化的真实代价 — Ryyn_- · 2026-11-11
- 玩家吐槽:GPU 产业靠游戏玩家起家,AI 热潮却让玩家买不起卡 — ark_forever · 2026-11-11
- CyberGate 开源:vLLM 上免改权重实现选择性拒绝转向 — DebtFluffy9219 · 2026-11-11
- 华为曾借白手套经台积电采购 AI 芯片，Sophgo 代理案回顾 — 0xkarasy · 2026-11-11
- 软银因数据中心减记 37 亿美元，单季净亏 1.12 万亿日元 — ns123abc · 2026-11-11