量化实测:芬兰语等小语种受量化冲击远大于英语
MarkoMarjamaa · reddit · 2026-10-15
作者用 KLD 和 Top-1% 指标实测 Qwen3.8 Flash 各档 Unsloth 量化对芬兰语能力的影响(语料:Project Lönnrot 芬兰语三本书、Project Gutenberg 对应英语书、wiki)。
- 关键发现:芬兰语确实因量化受损明显——若 KLD 在 0.02 以上算可察觉,即使 Q8 也未达标;小语种权重不够「扎实」,掉精度时最先露馅。英语和 wiki 的 Q8 表现则符合预期
- 有量化作者用私有不公开语料做评测(理由是 wiki 已被 n-gram 训练透),结果好坏参半:wiki 上 KLD 更好,但 top-1% 更差
- 作者自建「奇美拉」混合模型:用磁盘上运行的 Q8 级 n-gram 替换 Unsloth Q4(不占内存),有人测过说不值得,但作者实测效果明确——落在 Q4 和 Q5 之间,且 n-gram 大小不影响芬兰语能力;Q5 本身已非常接近 Q8
- 顺带感慨:怀念 Gemma-4 31B 的完美芬兰语,但 Q38FN 的编程能力完全不是一个级别
附图展示了四种量化档位(Q8/Q5/Q4+Q8/Q4)在三套语料上的 Mean KLD 与 Top-1% 曲线:芬兰语曲线在两个指标上劣化都最陡。
「Infra」频道最新
- 黄仁勋:欧洲不缺科学家,缺的是 AI 革命所需的长期能源方案 — karmicoder · 2026-10-15
- 迁出 1PB 云数据仅出口费就达 7.4 万美元，总成本可达 50 万美元 — DavidLinthicum · 2026-10-15
- 机器人缺它的「ChatGPT 时刻」：全球操作数据仅 30 万小时，缺口达百倍 — 0xSammy · 2026-10-15
- Ramp 融资 18.5 亿美元，估值 600 亿，8.5 万企业月省超 10 亿美元 — SethGRosenberg · 2026-10-15
- GPU 供给过剩论 vs 无限需求:算力泡沫下买市场不买工厂 — bittingthembits · 2026-10-15
- 爆料称英特尔获博通与谷歌代工承诺,14A客户阵容持续扩大 — BenBajarin · 2026-10-15