Cloudflare 推理缓存串号:GLM 5.3 把他人数据写进 155 条回复
djcroman · reddit · 2026-10-27
Cloudflare 发布事故报告：8 月 27 日至 9 月 9 日期间，Workers AI 上的 GLM 5.3 有 155 条回复混入了其他客户请求中的数据，全部发生在 prompt 超过 681,280 token 的请求上。
根因是两层问题叠加
- 模型宣称 1,048,576 token 上下文，但 prefill GPU 上的 KV cache 池只能容纳 681,280 token。Cloudflare 以为 SGLang 会直接拒绝超长请求。
- SGLang 确实把请求标记为 rejected，但在 disaggregated prefill/decode 模式下，被拒请求看起来仍然存活：prefill 写入一个占位页并宣告传输完成，decode 却照读全部预留页，其中多数仍残留此前用户的 prompt。
- 客户端收到正常的 HTTP 200 和一段连贯回答，没有任何报错或乱码。Cloudflare 自己的长上下文测试只校验状态码，因此全部通过。
处置
- 由 Gadi Evron 通过 HackerOne 报告；事件确认后约 40 分钟内下线模型，当天修复，未发现蓄意利用痕迹。
- 同一 SGLang bug 早在 7 月 6 日已在上游提交，修复位于 SGLang v0.5.20–v0.5.22。
作者提出一个值得写进供应商评审清单的问题：推理服务商到底如何在 GPU 显存层面做租户隔离。
所属事件:Cloudflare 披露 GLM-5.3 跨用户缓存泄漏事故(4 条相关)→
「Infra」频道最新
- Lovable 月调 7536 亿次 Workers,从 Next.js 迁至 TanStack Start — ritakozlov · 2026-10-27
- 布拉格实验室 BottleCapAI 发三款 ThinkingCap 模型，思考 token 最高省 69% — JFPuget · 2026-10-27
- 本地向量路由 100k 工具 top-1 达 70.7%、延迟 9.6ms，吊打 BM25 — Key_Coconut_9269 · 2026-10-27
- 单卡 RTX 3090 同时跑 4 个编码 agent，自研 CUDA 引擎达 290 tok/s — Adorable_Weakness_39 · 2026-10-27
- Google 联合 Red Hat/IBM 发布 llm-d 1.0,千级 Agent 实测分布式推理 — dl_weekly · 2026-10-27
- Transformers v5.21 发布：FP8 KV 缓存、MoE 分片与新 TTS 模型 — LysandreJik · 2026-10-27