BeNice！方法实现循环 LLM 跨循环无损共享 KV 缓存
stochasticchasm · x · 2026-10-24
有传言称前沿实验室正用循环语言模型（looped LMs）在不增加参数的情况下扩展质量，但 KV 缓存仍随每次循环增长。@haydenprairie 提出方法 BeNice!：在循环之间近乎无损地共享最终层的 KV 缓存，从而在相同 KV 显存下获得更多有效深度。作者指出这种跨循环的 lossless 共享并非开箱即得，需要专门训练模型「学会分享」。
评论者认为 YOCO（You Only Cache Once）式只循环 decoder 可能是规避 KV 缓存问题最简单的做法。
「研究」频道最新
- 量化模型「幻觉」出提示注入：海盗分金谜题与凭空捏造的 Windows 攻击 — Consumerbot37427 · 2026-10-24
- AgentVQA 基准发布：1000 个人工核验样本离线评测视觉智能体 — liuzhuang1234 · 2026-10-24
- Science 研究：STAT2 内含子保留可预测肺癌免疫治疗响应与生存期 — EricTopol · 2026-10-24
- 伯克利 Shreya Shankar 谈数据 Agent：最强模型首轮仅过 61% 查询 — sh_reya · 2026-10-24
- 经济学家新论文提出「瓶颈压力」指标:AI 做不了的工作价值将上升 — soumitrashukla9 · 2026-10-24
- 64GB 内存+RTX 3060 跑满血 DeepSeek-V4.1-Flash：7.4 tok/s、98.3% 一致率 — Muted_Context_1999 · 2026-10-24