专题 · FULL STORY
EdgeRock 开源:KV 缓存革命与 4B 本地版
Rock Matrix 团队开源多模态模型 EdgeRock,以固定容量历史设计解决长上下文 KV cache 内存膨胀痛点,生成复杂度 O(N)。数日后又推出基于 Qwen3.5-4B 的 EdgeRock-4B,号称省 99% 显存、可本地运行,事件线从首发走向小尺寸落地。
2026-10-27 ~ 2026-10-31 · 2 集 · 7 条
第 1 集 · EdgeRock 开源：256K 上下文 KV cache 仅 72 MiB(2026-10-27,4 条)
Rock Matrix 团队发布并开源多模态模型 EdgeRock，针对长上下文下 KV cache 内存随上下文线性膨胀的痛点，实现生成复杂度 O(N)、历史记忆 O(1)。在 256K 上下文时每条序列的 attention KV cache 恒定为 72 MiB，比 Qwen3.5-4B 小 99.1%。项目以 Apache-2.0 协议在 GitHub 开源，代码与论文全部公开，已获 672 星关注。
- EdgeRock-4B KV cache 256K 上下文仅 72 MiB,比 Qwen3.5-4B 小 99.1% — alifcoder · 2026-10-27
- EdgeRock 开源：256K 上下文 KV cache 仅 72 MiB，比 Qwen3.5-4B 小 99.1% — alifcoder · 2026-10-27
- EdgeRock 架构 256K 上下文 KV 缓存仅 72 MiB,比 Qwen3.5-4B 省 99.1% — alifcoder · 2026-10-27
- EdgeRock 开源:恒定内存推理架构,代码与论文全部公开 — alifcoder · 2026-10-27
第 2 集 · EdgeRock-4B 开源：KV 缓存恒定省 99% 显存，可本地运行(2026-10-31,3 条)
Rock Matrix 开源小尺寸图文推理模型 EdgeRock-4B，基于 Qwen3.5-4B，将八个全注意力层改造为固定容量历史设计，结合循环状态、局部注意力和 Rock Memory Anchors（RMA）实现固定容量记忆，KV 缓存恒定为 72MiB，比基座模型节省 99.1% 显存，可完整保留最近 1024 个 token。该模型已可在 MacBook Pro（M5 Pro，28GB 内存）上本地运行，4.6 秒输出首 token，速度约 9 tokens/s；若关闭 RMA 记忆锚点，长上下文准确率会从 94.1% 骤降至 0.4%。
- EdgeRock-4B 开源：KV 缓存固定 72MiB，比基座省 99.1% 显存 — testingcatalog · 2026-10-31
- EdgeRock-4B 可在 MacBook 本地运行：4.6 秒出首 token，约 9 tokens/s — testingcatalog · 2026-10-31
- EdgeRock-4B 架构细节：RMA 记忆锚点关闭后长上下文准确率从 94.1% 崩到 0.4% — testingcatalog · 2026-10-31