ExLlamaV3正式版带来大幅提速
Unstable_Llama · reddit · 2026-07-15
ExLlamaV3 发布了 1.0.0 正式版，作者总结了这一年多来的大批性能和工程升级。
这次更新的重点包括：
- 去掉 flash-attention-2 和 xformers 依赖
- 扩展 tensor parallel 支持到更多模型，包括 Gemma4
- 新 attention kernel：支持在线 cache quantization、SWA layers、attention sinks
- 新的 graph path、conv1d kernel、INT8 GEMV kernel、MoE kernel scheduler
- 大幅提升 Ampere 架构上的 GEMM/GEMV 性能
- 增加多个新模型支持和大量 bugfix / QoL 改进
- 还优化了扩展编译速度
作者给出的定位很明确：这是一次面向实际推理性能的重大发布，尤其适合关心本地部署和高吞吐推理的用户。
「Infra」频道最新
- 单 GPU 收入可随降价上升：Gavin Baker 拆解 token 价格与利润率的算术 — GavinSBaker · 2026-10-27
- Anthropic S-1 关键数字:成立以来算力支出仅 193 亿美元,算力过度建设警报 — bookwormengr · 2026-10-27
- CoreWeave 三周 RL 后训练:BrowseComp 提升 22.9%,工具调用省三成 — RichardSocher · 2026-10-27
- 电网排队成 AI 工厂瓶颈,Exowatt 与 Redwood 给出储能新解法 — ingliguori · 2026-10-27
- Wasmtime 曝两个 CVSS 9.9 沙箱逃逸漏洞，其中一个仅影响 ARM64 — basedjensen · 2026-10-27
- AI 数据中心时代用电论战：有人还在纠结灯泡省电与调整时区 — mgostIH · 2026-10-27