Triangle 发布跨模型 KV Cache 迁移,1M 上下文 TTFT 快 10.8 倍
ycombinator · x · 2026-11-17
Y Combinator 转发 OneTriangle 的新发布:跨模型 KV cache 迁移(cross-model KV cache transfer),向高效模型间通信迈进。
- 核心玩法:用小模型做 prefill,把 KV cache 迁移给大模型解码,1M 上下文下 TTFT 最高提速 10.8 倍。
- SDK 已上线 Qwen3.5-4B → Qwen3.8-27B 这对组合,更多模型对开放 beta。
「Infra」频道最新
- NVIDIA 运营掌门 Shoquist 获 GSA 创新奖,执掌供应链近 20 年 — nvidia · 2026-11-17
- 2026晶圆设备市场上看至1530亿美元,芯片设备周期被拉长 — BenBajarin · 2026-11-17
- Resin 开源推理运行时:AI 写前向传播即可生成独立推理引擎 — VoidAsuka · 2026-11-17
- Constellation CEO:市场对数据中心政策的恐慌反应过度 — The Verge AI · 2026-11-17
- SemiAnalysis 大砍 AI 资本开支预测,2028 年降至 7580 亿美元 — SumitGup · 2026-11-17
- SemiAnalysis大幅下调NVIDIA Feynman均价,分析称定价权终结 — SumitGup · 2026-11-17