比特还是重排?Intel 测算小模型推理预算:6-bit 权重+最多四次选项重排最优
Mohammed Nayeem Khan · hf · 2026-11-12
Intel 团队研究了一个小众但实际的问题:本地小语言模型可以把权重存成更低比特省内存,也可以通过平均若干次答案选项重排来降低对选项顺序的敏感——两者竞争同一推理预算,该花在哪边?
实验设定:Qwen3-0.6B 与 1.7B,模拟 round-to-nearest 量化(8/6/4/3 比特,fP16 参考),在 ARC-Easy、ARC-Challenge、MMLU、HellaSwag 各 300 题上读取 A–D 选项 logits。
主要发现:
- 6 比特相对 fp16 几乎无损(两模型反而分别 +1.8 与 +0.9 分,原因未明)
- 4 比特下答案槽位偏斜显著上升(0.6B:0.15→0.53;1.7B:0.07→0.12)
- 平均 4 个循环重排在 4 比特下可挽回 +12.6 分(0.6B)
- 作者以「读取权重字节×遍数」作为机器无关成本单位,给出决策表:成本匹配时,仅当权重 ≥6 比特,加遍数才优于加比特;最终建议是「用 6-bit 权重,把剩余预算花在最多 4 次重排、每次一遍」
作者注明一切为两个小模型上的模拟实验,且文献检索未发现此前有量化与选项顺序联合研究。
「研究」频道最新
- 浙大小红书等发布 CARTBench：复杂购物建议评测，无一模型超 45% — Yuqin Dai · 2026-11-12
- 数学基准新成绩单曝光:GPT-6.1 Sol 90.43% 居首,低成本模型表现亮眼 — teortaxesTex · 2026-11-12
- e-means 聚类算法提速 10-45 倍，1.4 个 epoch 就击败 k-means — pmttyji · 2026-11-12
- 研究称 LLM 性别偏见普遍存在且模型间差异显著 — ValerioCapraro · 2026-11-12
- 《Understanding Deep Learning》持续更新，最新修订聚焦模型性能度量 — SimonPrinceAI · 2026-11-12
- Teknium 评 Hermes 记忆研究：记忆与泛化并存，较微调提升约 15% — Teknium · 2026-11-12