计划自费百美元 benchmark Qwen 量化与 KV 缓存
m_mukhtar · reddit · 2026-08-25
社区成员计划花费约 100 美元在云 GPU 上对 Qwen 2.5-72B（原文误写为 3.8-27B，结合上下文推测应为 72B 或同量级模型）进行深度基准测试。重点对比不同量化等级（Q4-Q6）、KV 缓存精度（8-bit vs 16-bit）、后端（GGUF vs EXL3）在本地编码和 Agent 任务中的实际表现与 Token 效率，而非单纯的跑分。
「Infra」频道最新
- 2026 晶圆厂设备支出上调至 1530 亿美元，设备周期被拉长 — BenBajarin · 2026-10-16
- Steam 更新实测 5.23 秒启动反超 Epic，网友调侃 vLLM 该加入「启动时间大战」 — AlpinDale · 2026-10-16
- Shadeform 预告下周一发布六项新功能：降 GPU 成本、扩算力来源 — _jaydeepkarale · 2026-10-16
- Fastino 推出后训练 API：兼容 Tinker SDK，成本降 25%-85% — kalyan_kpl · 2026-10-16
- 达拉斯联储估算：AI 数据中心举债约占期限供给八分之一 — _onionesque · 2026-10-16
- 12GB 笔记本显卡硬跑 Wan2.1 14B FP16:内存交换压测 4 分 11 秒出片 — RYuu-1120 · 2026-10-16