YC团队KV cache传输KL散度胜过NVIDIA，TTFT再降17.8%
ycombinator · x · 2026-08-21
Y Combinator 孵化的 TryTrustAI 宣称在 KV cache 传输的 KL 散度指标上击败了 NVIDIA 的方案，并用于构建高速推理：相较之下 TTFT（首 token 延迟）降低 17.8%，每 100 万请求省 641 美元；在 Qwen 32B 上用 Qwen 8B 做 prefill，held-out top-1 一致率达 82.5%。
「Infra」频道最新
- 测算显示航空电力成本仅$40，燃油时代将终结 — examachine · 2026-08-21
- 瑞士两千人小镇拟建 400 兆瓦数据中心 — ZeroStateReflex · 2026-08-21
- 深度驳斥：数据中心用水量被媒体严重误导 — AndyMasley · 2026-08-21
- OpenAI 招聘「降低数据中心反对风险」岗位，被指意在化解社区阻力 — dinabass · 2026-08-21
- Ornith 1.5 35B Q5 本地跑进 GitHub Copilot，Mac M3 Max 可用 — DanWahlin · 2026-08-21
- AI经济计算云兴起：训练、推理与路由成焦点 — rhythmrg · 2026-08-21