bitsandbytes 0.50.0 让 NVIDIA 上 4bit 推理最高提速 4 倍
LysandreJik · x · 2026-07-29
bitsandbytes v0.50.0 已发布，官方称在 NVIDIA GPU 上，4-bit LLM 推理速度最高可提升到 4 倍。
这次更新不只面向 CUDA：AMD ROCm 也新增了更快的 4-bit 路径并进入稳定状态，同时提供 Windows wheels，支持的 GPU 也更多了。整体目标是让低比特推理既更快，也更容易安装和部署。
「Infra」频道最新
- Kimi K3 自托管回本或不到 100 天，但先要砸 60 万美元 — steipete · 2026-07-29
- 推理性能别只报总吞吐，应拆成三项指标 — isidentical · 2026-07-29
- 月之暗面 Kimi K3 登陆 Phala，带来 2.8T 参数和 100 万上下文 — bgmshana · 2026-07-29
- Moonshot Kimi K3 登上 RedPill，支持百万上下文与 GPU-TEE 推理 — bgmshana · 2026-07-29
- 在 Kubernetes 上自建 LLM 推理的生产运维手册 — GD-Champ · 2026-07-29
- GitHub 整理 100+ 个 LLM 应用、RAG 和 Agent 工具 — tom_doerr · 2026-07-29