NF12 量化格式集成进 vLLM 的 PR 已提交
AlpinDale · x · 2026-11-07
开发者提交了将 NF12 量化格式集成进 vLLM 的 PR。NF12 解码后权重与原始 BF16 模型完全一致，相同执行管线下输出结果也逐位相同；由于需要搬运的字节数更少，推理加速大致与节省的显存成比例——即无损精度下的带宽红利。
所属事件:开发者开源 nf12：BF16 模型无损压缩至 12bit(10 条相关)→
「Infra」频道最新
- 百 Agent 部署难题之三:工具争用、限流中断与成本飙升 — goyalshaliniuk · 2026-11-07
- 一人开发全 Rust 系统：本地跑 Qwen 比 llama.cpp 快 25% — W61k3r · 2026-11-07
- 用前沿模型训练本地 Qwen 9B,量子力学题从 2/8 提升到 7/8 — SouthernRow2710 · 2026-11-07
- 微软季度 capex 达 452 亿美元，从 OpenAI 赚了 100 亿 — draginol · 2026-11-07
- 训练 1 FLOP、推理 6 FLOP：推理栈已成超 2200 亿美元生意 — ravikantagrawal · 2026-11-07
- Chromium 源码仓库高达 200GB,.git 会膨胀到 400GB — mohamedmansour · 2026-11-07