模型算力该花在更好 KV 而非逐 token 解码

YouJiacheng · x · 2026-11-21

YouJiacheng 在引用 @xidulu 的自我纠错推文时提出一个架构层面的判断:算力/复杂度的投入更应该用于改进对上下文的理解(更好的 KV cache 机制),而不是花在逐 token 的解码生成上。原引用者 xidulu 承认自己此前关于该话题的看法是错的,但未展开具体讨论内容。

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →