SemiAnalysis:智能体流量已占全部推理流量超 70%
NinaDSchick · x · 2026-09-18
SemiAnalysis 报告称 agentic 流量已占全部推理流量的 70% 以上。这类工作负载有四大特征:
- 多轮对话:单次数十到上百轮,带来巨大 KV-cache 复用潜力
- 长上下文:系统提示、工具定义与大量轮次使上下文快速膨胀
- 高前缀复用:对话线性推进,第 n 轮输入包含前 n-1 轮输出,随轮数增长,可缓存输入占比趋近于 1(取决于 KV 存储容量)
- 子智能体爆发:会话会批量启动短生命周期、上下文全新,造成突发式 KV-cache 模式
这对推理服务的 KV cache 存储与调度架构有直接含义。
「漫话AGI」频道最新
- vikhyatk:通往奇点路上算力将交替出现过剩与短缺 — TheZachMueller · 2026-11-02
- Sam Altman 断言：AI 已超越顶尖科学家，2026 将是历史转折点 — kimmonismus · 2026-11-02
- DeepSeek 设计文档：一人只能盯 3-5 个 agent 会话，瓶颈不再是模型 — heyshrutimishra · 2026-11-02
- AI 意识研究者:我们没有可靠方法判断 AI 是否有意识 — dioscuri · 2026-11-02
- 哲学家 Toby Ord：同时追踪模型上限与下限才能看清能力边界 — tobyordoxford · 2026-11-02
- 「Forward Deployed Verifier 将比 FDE 更值钱」:专业判断最晚被模型化 — vaibhavbetter · 2026-11-02