Qwen 3.8 27B 实测:KV Cache f16 精度优于 q8_0
Felixls · reddit · 2026-08-20
作者在 AMD R9700 + ROCm 环境下测试 Qwen 3.8 27B 模型,发现 KV Cache 使用 f16 精度时,模型在结构化和自由输出上比 q80 更细致,思维链更准确,且在 12 万上下文后仍能保持记忆。作者指出此前一些差评可能源于测试了 q40 等低精度 KV Cache。附带了详细的 llama.cpp 配置文件。
「模型」频道最新
- OpenAI 推出 GPT-Live-1.1 语音升级:新增六语种声音、更少卡顿 — OpenAI · 2026-10-16
- LMArena 上线 Muse Spark 新模型,Battle 与 Agent 模式可测 — arena · 2026-10-16
- 多模型同题设计 UI:用 Paseo 编排四套界面方案竞技 — vista8 · 2026-10-16
- Ilya 质疑 Meta 新许可证:年收入超 2000 万美元的推理服务商须与 Meta 另签协议 — ilyasu · 2026-10-16
- Muse-Spark 开源权重发布:816B MoE 模型 MLX 3bit 版已上线 — ns123abc · 2026-10-16
- 大 V 晒 Claude 用量矛盾账:周额度 33%、窗口 45%,却提示 API 额度耗尽 — TheMoonMidas · 2026-10-16