vLLM 静默把 Engram 权重压成 8-bit,阿里工程师揪出量化 bug

tokenbender · x · 2026-11-19

阿里工程师在 T-Head 玄武 810E 芯片上运行 DeepSeek-V4.1 时发现一个隐蔽的量化 bug。

发帖人 tokenbender 感叹:神经网络训练对灾难级 bug 惊人地宽容——这类问题即使藏在一个长达 4 天的集群 RL 训练里,你也完全察觉不到性能差的元凶是什么。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →