The Daily Diff 新增 PDF 版，精选 GPU 推理优化与 KV 缓存复用好文
arpit_bhayani · x · 2026-10-03
Arpit Bhayani 宣布其工程日报 The Daily Diff（tdd.cat）支持下载 PDF 版本，读起来更像真正的报纸；这个功能来自用户请求，他花一个下午实现了。日报覆盖应用 AI、数据库与系统设计的精选内容。
当期亮点：
- GPU 性能工程课程路线图（wafer-ai，GitHub）：自底向上构建 AI 性能工程心智模型，覆盖 GPU 硬件架构、Triton/CUTLASS 内核优化、KV cache 内存布局、continuous batching 调度器与分布式张量并行，直指「朴素实现与调优推理引擎差距达数个数量级」
- Suffix KV cache 复用（Rulin Shao、Oscar Yin）：vLLM/SGLang 等依赖 radix tree 的服务系统有严格 append-only 假设，agent 一旦编辑上下文中段文本，最长前缀匹配即失效；suffix cache 复用可消除编辑时的冗余 token 重算，提升 KV 缓存服务效率
「Infra」频道最新
- 数据中心焦虑蔓延全美，弗州居民：世界经济之都照样宜居 — arian_ghashghai · 2026-10-03
- 解读华为 LogicFolding Tau 设计与 Mate 90：中国芯片进展仍待独立测试验证 — ingliguori · 2026-10-03
- 64GB 内存 iGPU 迷你主机能否跑 Qwen Flash?社区探索端侧部署 — SomeITGuyLA · 2026-10-03
- 成本仅为 1/10,开源预训练跑分追平 Llama 3.2 1B,作者复盘四大坑 — jon_durbin · 2026-10-03
- AMD 展示在 Ryzen AI Max+ 395 迷你主机本地运行 MolmoAct2 机器人策略 — DJiafei · 2026-10-03
- Hillock 开源：用 SQLite + 万维超向量门控取代向量库，1.2GB 显存内跑本地 RAG — Equivalent-Flan-1590 · 2026-10-03