EdgeRock-4B 用固定三层记忆解 KV cache 膨胀:256K 上下文仅占 72MiB
eyishazyer · x · 2026-11-04
GitHub 上开源了一个 4B 模型 EdgeRock-4B,专攻长时运行 agent 的痛点——KV cache 随上下文无限膨胀。普通注意力模型读 256K token 时,仅 Qwen3.5-4B 的 KV cache 就要 8 GiB,而 EdgeRock-4B 全程每序列只占约 72-100 MiB。
它的做法是把记忆切成三层、每层固定大小:
- Recent:局部注意力,保留最近 1,024 token 的完整细节
- State:循环层状态,用固定大小矩阵压缩总结整个上下文
- Anchors(Rock Memory Anchors):模型自选保留的关键细节,每 256 token 重新挑选,每个 KV 组最多 1,024 条记录
其他关键数据:4-bit Q4KM 量化后仅 2.94 GB,可商用;在长上下文记忆测试上查询准确率 94.1%(关闭 RMA 时只有 0.4%)。技术报告见 arXiv 2610.1018。
所属事件:EdgeRock-4B 开源：常数内存推理破解 KV 缓存膨胀(3 条相关)→
「编程与Agent」频道最新
- Traversal 融资 1.2 亿美元,估值 10 亿做 AI 生产事故排查 — LinusEkenstam · 2026-11-04
- ≤4B 小模型 Agent 实测:Qwen3.5-4B 得 51.4%,思考模式最多提升 20 分 — KienShen · 2026-11-04
- 用外部确定性状态层治 AI 编码失忆:三篇论文给出会话管理新思路 — ApprehensiveSkin7975 · 2026-11-04
- 字节跳动等开源 Axion 1.0：三阶段训练的 Agent 基础模型 — Yuqi Jia · 2026-11-04
- Caper：沙盒预执行让 coding agent 审批看真实后果 — SingaporeManagementUniversity · 2026-11-04
- Claude Code 负责人：AI 提效后团队瓶颈正向上游 PM 与下游验证转移 — Flomerboy · 2026-11-04