计划自费百美元 benchmark Qwen 量化与 KV 缓存
m_mukhtar · reddit · 2026-08-25
社区成员计划花费约 100 美元在云 GPU 上对 Qwen 2.5-72B（原文误写为 3.8-27B，结合上下文推测应为 72B 或同量级模型）进行深度基准测试。重点对比不同量化等级（Q4-Q6）、KV 缓存精度（8-bit vs 16-bit）、后端（GGUF vs EXL3）在本地编码和 Agent 任务中的实际表现与 Token 效率，而非单纯的跑分。
「Infra」频道最新
- 西弗吉尼亚拟吸引数据中心，配套核电站成优势 — mimi10v3 · 2026-08-25
- Nvidia 称 Agentic AI 是史上最复杂计算负载 — AccBalanced · 2026-08-25
- SpaceX 拟部署百万卫星配英伟达算力，Grok 规模将扩至 10GW — ns123abc · 2026-08-25
- Weaviate 推出可配置 effort 参数，测试时计算提升检索精度 — CShorten30 · 2026-08-25
- 高通收购 Modular：联手打造异构计算开放软件栈 — clattner_llvm · 2026-08-25
- 如何在本地完全运行 LLM 以确保数据不外泄 — gethackteam · 2026-08-25