Qwen3.8-27B 量化评测：4bit 损伤大，初始上下文崩坏最重
sadnessdevil · reddit · 2026-08-23
本文对 Qwen3.8-27B 的多种量化版本进行了 KL 散度(KLD)测试，使用代码数据集分别在 8k 和 32k 上下文下评估。主要发现包括：
- 8bit 与 4bit 差距巨大：最好的 4bit 分数(0.00835)远超最差的 8bit(0.00071)。
- 4bit 量化质量波动大：在相同模型大小下，不同校准数据和舍入算法导致 KLD 从 0.01364 到 0.02976 不等，不能仅按文件大小选择 4bit 模型。
- Group Size 影响显著：Group size 32 的表现优于 group size 128(即使后者保留部分 BF16 模块)。
- 量化损伤集中在上下文开头：所有 24 个模型在生成的前 500 个 token 处 KL 散度极高。
- 特定层量化无影响：量化 lmhead、embedtokens 和 linearattn 在此测试中未影响性能。
「研究」频道最新
- Cohere Labs 世界模型公开课第 4 期：一文理清 DreamerV1-V4 架构演进 — Cohere_Labs · 2026-10-16
- GPT-6.1 审查 arXiv：6% 论文主定理有错，近两月降至 1.5% — nitarshan · 2026-10-16
- 研究：一个 just 之差就能改变 LLM 对话的走向 — StellaLisy · 2026-10-16
- SEAR 首次大规模对照研究：7 个前沿 LLM、330 项任务检验自进化机器人 — xiye_nlp · 2026-10-16
- Claude 助力连破椭圆曲线纪录后，EC Rank 挑战赛开放 156 个纪录位 — Jsevillamol · 2026-10-16
- 用超声替代胎儿 MRI，牛津团队做产前大脑 AI 建模 — AnnaCiaunica · 2026-10-16