vLLM 静默把 Engram 权重压成 8-bit,阿里工程师揪出量化 bug
tokenbender · x · 2026-11-19
阿里工程师在 T-Head 玄武 810E 芯片上运行 DeepSeek-V4.1 时发现一个隐蔽的量化 bug。
- DeepSeek 的 Engram 权重数值极小,本应保持在 BF16 精度
- 但 vLLM 在内部重命名了这些权重,导致其 ignore list 无法识别,于是静默地将其转换为 8-bit 整数,大部分数值被舍入为零
- 模型带着损坏的权重运行,却不抛出任何报错
发帖人 tokenbender 感叹:神经网络训练对灾难级 bug 惊人地宽容——这类问题即使藏在一个长达 4 天的集群 RL 训练里,你也完全察觉不到性能差的元凶是什么。
「Infra」频道最新
- 6GB 显存本地跑 MiniMax H3:优化后 50 分钟,默认工作流 6.5 小时 — No_Cow26 · 2026-11-19
- 27GB 就能本地装下维基百科?tufulabs 用神经压缩实现 tufazip — Terminator857 · 2026-11-19
- 单 GPU 18 分钟转录 8.7 小时模拟门诊录音,27.8 倍实时速度 — MaziyarPanahi · 2026-11-19
- Ramp 数据:token 价格六周暴跌 21.2%,Anthropic 占企业 token 支出 58.7% — RebeccaBellan · 2026-11-19
- 美国陆军欧洲与非洲司令部开源 goatcore:断网也能用的自托管数据Fabric — victorialslocum · 2026-11-19
- XBOW 发布 Java4Shell 漏洞 CPU 兼容矩阵,覆盖 10 家云厂商 67 组映射 — moyix · 2026-11-19