EdgeRock-4B 开源：KV 缓存恒定省 99% 显存，可本地运行
Rock Matrix 开源小尺寸图文推理模型 EdgeRock-4B，基于 Qwen3.5-4B，将八个全注意力层改造为固定容量历史设计，结合循环状态、局部注意力和 Rock Memory Anchors（RMA）实现固定容量记忆，KV 缓存恒定为 72MiB，比基座模型节省 99.1% 显存，可完整保留最近 1024 个 token。该模型已可在 MacBook Pro（M5 Pro，28GB 内存）上本地运行，4.6 秒输出首 token，速度约 9 tokens/s；若关闭 RMA 记忆锚点，长上下文准确率会从 94.1% 骤降至 0.4%。
2026-10-31 ~ 2026-10-31 · 3 条相关
- 第 1 集:EdgeRock 开源：256K 上下文 KV cache 仅 72 MiB(2026-10-27,4 条)
- 第 2 集:EdgeRock-4B 开源：KV 缓存恒定省 99% 显存，可本地运行(2026-10-31,3 条)
- EdgeRock-4B 开源：KV 缓存固定 72MiB，比基座省 99.1% 显存 — testingcatalog · 2026-10-31
- EdgeRock-4B 可在 MacBook 本地运行：4.6 秒出首 token，约 9 tokens/s — testingcatalog · 2026-10-31
- EdgeRock-4B 架构细节：RMA 记忆锚点关闭后长上下文准确率从 94.1% 崩到 0.4% — testingcatalog · 2026-10-31