EdgeRock开源：常数内存推理，历史压缩至O(1)不再吃KV缓存
eyishazyer · x · 2026-11-04
Rockmatrix AI 开源了 EdgeRock，一个面向多模态模型的「常数内存」推理方案：生成复杂度为 O(N)，而持久化历史压缩到 O(1)，不需要不断增长的 KV 缓存。
- 核心机制是「admission step」：每 256 个 token 评估一次，决定哪些新细节值得保留为 anchor，从而让上下文文件在第 100 个会话仍然可用。
- 与常见的 agent 侧文件记忆不同，作者强调这是训练中学到的模型内能力，而非外部规则拼接。
- 已放出自研权重、GitHub 推理/评测代码、Hugging Face 模型、论文与白皮书，仓库采用 Apache-2.0 许可，目前约 993 star。
所属事件:EdgeRock-4B 开源：常数内存推理破解 KV 缓存膨胀(3 条相关)→
「模型」频道最新
- ≤4B 小模型 Agent 实测:Qwen3.5-4B 得 51.4%,思考模式最多提升 20 分 — KienShen · 2026-11-04
- 反编译该不该只是 benchmark?Redditor 提议为 LLM 反编译建 SWD bench — ThinkExtension2328 · 2026-11-04
- 字节跳动等开源 Axion 1.0：三阶段训练的 Agent 基础模型 — Yuqi Jia · 2026-11-04
- Grok 问候即自报 he/him 代词，用户惊呼"他们对 Grok 做了什么" — djcows · 2026-11-04
- eliebakouch：用同样方法蒸馏中国开源模型或已悄然进行 — eliebakouch · 2026-11-04
- EdgeRock-4B 固定记忆跑出 82.9% AIME,单 GPU 并发 512 长对话 — eyishazyer · 2026-11-04