YC团队KV cache传输KL散度胜过NVIDIA，TTFT再降17.8%
ycombinator · x · 2026-08-21
Y Combinator 孵化的 TryTrustAI 宣称在 KV cache 传输的 KL 散度指标上击败了 NVIDIA 的方案，并用于构建高速推理：相较之下 TTFT（首 token 延迟）降低 17.8%，每 100 万请求省 641 美元；在 Qwen 32B 上用 Qwen 8B 做 prefill，held-out top-1 一致率达 82.5%。
「Infra」频道最新
- Muse-Spark 开源权重发布：816B MoE 模型 MLX 3bit 版已上线 — ns123abc · 2026-10-16
- vLLM 实现 Muse Spark Open Day-0 LoRA RL，AIME 从 0.56 提至 0.85 — vllm_project · 2026-10-16
- Inferact 为 Muse Spark Open 训练 DSpark 草稿模型，一次最多出 7 个 token — vllm_project · 2026-10-16
- Cloudflare Stream WebRTC 低延迟直播正式 GA,可扩展至百万观众 — ritakozlov · 2026-10-16
- YC 孵化 Overshoot 主打推理优化：已帮客户省超 500 万美元 GPU 账单 — ycombinator · 2026-10-16
- Meta 开源 816B 参数 Muse Spark Open，Groq 预览跑出 350+ tokens/秒 — GroqLLC · 2026-10-16