开源库 Tailslayer 用对冲读消除 DRAM 刷新延迟，p99.9 延迟最多降 18.5 倍
thisdudelikesAI · x · 2026-10-29
开发者开源了 C++ 库 Tailslayer（Apache 2.0，已获 2.9k star），用于消除 DRAM 刷新造成的隐性延迟尖刺。
- 问题：DRAM 每秒数千次刷新电荷，期间到达的读请求会被强制停顿，CPU 完全冻结等待——这就是 p99/p999 指标里那些无法解释的延迟尖刺来源。
- 方案：利用未公开文档的 DRAM channel scrambling offsets，把数据复制到多个刷新周期互不相关的独立内存通道；读请求到达时同时向所有副本发起对冲读（hedged read），最先返回的通道胜出，另一通道的刷新停顿就无关紧要。
- 兼容性：支持 AMD、Intel 与 Graviton 平台；API 只需提供 signal 与 work 两个函数，库自动处理复制、核心绑定和对冲读。附带的 trefiprobe.c 探针可在自己的硬件上实时观测停顿出现与消失。
- 实测数据（配图基准测试）：在 AMD EPYC 9255/9R45、Intel Xeon 8480C、Graviton 3/4 上的 N 路对冲读测试显示，p99.9 延迟降低因子随通道数增加而提升，Graviton V2 12 通道下达 18.5 倍，但各平台均存在边际收益递减。
「Infra」频道最新
- 「我们做了个快 2 倍的 S3」推文泛滥,作者警告可靠性代价被隐藏 — HankYeomans · 2026-10-29
- Node.js 事件循环阻塞致实例日重启 76 次,26 次提交后归零 — DanielLockyer · 2026-10-29
- Cloudflare Workflows 支持限定 eu/us/fedramp 辖区运行以满足数据合规 — dinasaur_404 · 2026-10-29
- 8×B300 实测:对齐 rank 间 prefill 后,P/D 分离并非 LLM 推理银弹 — kbesplv · 2026-10-29
- 报告:到 2030 年英国数据中心仅 7GW,不足美国 119GW 的零头 — ersatzben · 2026-10-29
- TurboEXL3 亮相：Qwen 在 Mac 上跑出 140 TPS 解码 — HankYeomans · 2026-10-29