线性注意力混合架构需要更细粒度缓存来应对长提示词

stochasticchasm · x · 2026-07-28

这条帖子的重点是线性注意力混合架构在生产推理里的缓存问题：普通 attention 还能保留完整 KV cache，而线性 attention 只有单个状态，导致很多场景下没法像传统前缀缓存那样直接复用。作者认为在真实生产里，尤其是长系统提示词、工作流等场景，需要更细粒度的缓存策略。

配图和回复还提到了sandbox 基础设施，其中 pause/resume、forking 很有价值，暗示长尾分支式 rollout 可能会越来越重要。另一处让他感兴趣的是内部 eval 部分：报告列出了一批较高层级的自研 benchmark，能看出模型和 agent 能力的短板分布。