SemiAnalysis:智能体流量已占全部推理流量超 70%
NinaDSchick · x · 2026-09-18
SemiAnalysis 报告称 agentic 流量已占全部推理流量的 70% 以上。这类工作负载有四大特征:
- 多轮对话:单次数十到上百轮,带来巨大 KV-cache 复用潜力
- 长上下文:系统提示、工具定义与大量轮次使上下文快速膨胀
- 高前缀复用:对话线性推进,第 n 轮输入包含前 n-1 轮输出,随轮数增长,可缓存输入占比趋近于 1(取决于 KV 存储容量)
- 子智能体爆发:会话会批量启动短生命周期、上下文全新,造成突发式 KV-cache 模式
这对推理服务的 KV cache 存储与调度架构有直接含义。
「漫话AGI」频道最新
- Noam Brown 警告:模型可能已「表演」思维链,对齐必须正面解决 — infoxiao · 2026-09-18
- Reddit 用户质疑 AI 炒作：公司利润恐慌营销，模型一年几乎无进步 — EddieMidz · 2026-09-18
- 「资深断层」论：跳过初级摩擦，十年后将无人具备工程师直觉 — Jumpy-Increase9337 · 2026-09-18
- e/acc 喊话：未来不该交给想阻止它的人 — mark_k · 2026-09-18
- DeepMind 研究员 vqctran 离职十年老东家，创 Polyphron 用前沿模型再造人体组织 — infoxiao · 2026-09-18
- 从业者炮轰当下 Agent 架构：在 LLM 核心上套循环堆上下文该推倒重来 — GaryMarcus · 2026-09-18