9B 模型量化实测:70% 损伤集中在前 8 层,困惑度看不见尾部风险
DinnerPrestigious953 · reddit · 2026-10-23
作者在一个 9B 推理模型上逐张量测量量化损伤，得到几个反直觉结论：
- 损伤高度集中在浅层:对未量化基座的 KL 散度损伤中，约 69.5% 位于第 0-7 层(第 5 层单独占 12.1%)，而标准 imatrix 分配恰恰给早期层的保护最差。错误在浅层产生后会沿网络滚雪球，表现为 agent 执行中卡死、过度思考、语法循环等故障。
- 困惑度会撒谎:imatrix 构建的 PPL 比无数据启发式好 1.35 分，但其最差单张量的 KLD(17.77)反而比 stock 构建(17.65)更糟——PPL 只看平均值，看不见尾部，而尾部正是 agent 故障的来源。
- 盲跑排名器打平 imatrix:作者用从完全不同模型(1.7B/4B)测得的损伤数据训练的小型神经排名器 Gnom(不使用 imatrix、从未见过这个 9B)，与 imatrix 分配器在 164 个 HumanEval 风格任务上统计打平，且输出对基座的保真度反而最高(mean drift -0.306% vs -0.733%)。
- 位分配还影响拒答率:同等权重下不同构建在 164 任务中分别产生 14 和 19 次空输出。
数据集已发布在 HuggingFace(wepiqx/MERNIK-Fracture)。
「Infra」频道最新
- 「黄仁勋效应」：GTC 台上展示后 MicroDucks 24 小时再卖 4000 只 — andimarafioti · 2026-10-23
- Terry Tang 创办 TensorScale AI，要为世界模型重构推理基础设施 — TerryTangYuan · 2026-10-23
- 高频交易巨头转战算力：Jane Street 领投 Thinking Machines 估值 400 亿美元 — dinabass · 2026-10-23
- 彭博:腾讯、君联资本、CPE 竞逐华为昇腾芯片,同批资本现身 DeepSeek — YvesMulkers · 2026-10-23
- 每月 6 美元的 1GB 内存小机器实测：同时跑 200 个 AI agent — swarmagent · 2026-10-23
- Blaise 新书获盛赞,其太空 GPU 项目 Suncatcher 完成首飞 — paulnovosad · 2026-10-23