千分之一概率乱码：vLLM 两个 Mamba 缓存 bug 的排查实录
AI Engineer · youtube · 2026-09-20
AI21 工程师 Asaf Gardin 与 Yuval Belfer 在 AI Engineer 演讲中复盘了两个隐藏在 vLLM 中的 bug，根源都在 Mamba 状态缓存。
案例一：千分之一概率的乱码输出
- 仅在 vLLM、仅在高负载、仅在使用 Jamba（attention 与 Mamba 混合层）时出现：无崩溃、无警告、置信度高。
- 无法用提示词复现，于是「饿死」它：把 GPU 显存利用率从 90% 降到 20%、temperature 设 0，第 8854 个请求必现乱码。
- 用 logprob 对比纯参考实现排查，先误判为 prefill kernel 问题（排除）。
- 真正原因：forward pass 内部没有请求身份，他们把 request ID 穿透传入 forward context 并断点定位，发现调度器在 prefill 之前先跑了 decode。attention 无碍因为它先写 KV 再读，而 Mamba 先读状态，导致新请求在上一个请求的状态上计算。
案例二：看似 RL 训练不稳定的 logprob 尖峰
- 每 12 步出现一次 logprob 尖峰，且发生在权重更新之前。
- 把每提示 rollout 从 8 提到 128 后尖峰移到第 1 步、降显存则消失——拉错了杠杆。
- 真因：一个 32 位索引在超过 40 亿后回绕，修复只需把类型改成 sizet。
结论：两个 bug 同根——Mamba 状态缓存、均被内存压力触发、均靠 logprob 取证发现。有状态推理不会大声失败，而是自信地撒谎。
「编程与Agent」频道最新
- 额度重置夜：Codex 恢复 100%，Claude 仅剩 10% — rudrank · 2026-11-04
- 自我改进软件不可避免：让应用读取自身信号并自动修复 — bibryam · 2026-11-04
- 攒 7 卡 132GB 显存本地推理机：EPYC 整合还是双平台？ — infectiousstupidity · 2026-11-04
- 50 人 12 国团队:创始人自称与 AI Agent 沟通多过与同事 — Scobleizer · 2026-11-04
- 极简 agent 框架 Pi 发布：四种模式可扩展，附音乐软件语音操控案例 — solyarisoftware · 2026-11-04
- Karpathy 拥抱 AI 引热议：坚持手写代码的开发者恐先被淘汰 — CtrlAltDwayne · 2026-11-04