北大阶跃提出 TensorCast，统一张量管理层提速 228 倍
机器之心 · wechat · 2026-08-17
北京大学联合阶跃星辰提出 TensorCast，一种为大模型基础设施设计的统一张量生命周期管理抽象层。该系统将模型权重、KVCache 等张量状态从具体计算系统中解耦，通过可编程原语实现跨组件的优化策略。实验显示，TensorCast 在模型启动速度上最高提升 228.6 倍，KV 管理性能媲美专用系统，并在高并发多轮 Agent 场景下将首字延迟（TTFT）降低 93.2%。
「Infra」频道最新
- Dion3 优化器：全栈正交更新加速 Muon 训练 — MicrosoftResearch · 2026-08-17
- 企业 AI 部署隐忧：数据外流呼唤主权 AI 架构 — Familiar-Display2989 · 2026-08-17
- Qwen3.8-27B 24GB 显存实测：开启 MTP 跑满 13 万上下文 — sisyphus-cycle · 2026-08-17
- dstack 结合机密计算实现云端代码隐私执行 — bgmshana · 2026-08-17
- AI 硬件工程新视角：能否理解并优化复杂工程模型? — rms80 · 2026-08-17
- 美人均用电峰值未恢复，算力扩张存物理上限 — jwt0625 · 2026-08-17