EdgeRock-4B 固定记忆跑出 82.9% AIME,单 GPU 并发 512 长对话
eyishazyer · x · 2026-11-04
- 固定记忆不再等于健忘：EdgeRock-4B 采用固定大小的记忆（Rock Memory Anchors），在 AIME（2024–2026，mean pass@1）上拿到 82.9%，接近其基座 Qwen3.5-4B（记忆可增长）的 86.1%，而其他受测的有界状态模型中最好的 RWKV-7 G1j（14B）仅 18.8%。
- 核心是 anchors 机制：每 256 token，模型决定哪些细节"配得上"进入固定的 anchor bank——bank 永不增长，迫使模型学会取舍值得保留的信息。
- 长上下文检索能力：在 256 个 16K–130K 输入 token 的上下文中，远程记忆查询准确率达 94.1%；关闭全部 8 个 RMA 模块后仅 0.4%。
- 吞吐优势：记忆固定使 KV 状态不随对话增长，单张 Hopper 80GB GPU 可同时跑 512 路长对话（32K 入 + 32K 出），输出吞吐 12,124 tok/s，为 Qwen3.5-4B（64 路、1,889 tok/s）的 6.42 倍。
- 来源：Rock Matrix 与 EdgeRock 技术报告（arXiv 2610.10118）及 GitHub README。
所属事件:EdgeRock-4B 开源：常数内存推理破解 KV 缓存膨胀(3 条相关)→
「模型」频道最新
- ≤4B 小模型 Agent 实测:Qwen3.5-4B 得 51.4%,思考模式最多提升 20 分 — KienShen · 2026-11-04
- 反编译该不该只是 benchmark?Redditor 提议为 LLM 反编译建 SWD bench — ThinkExtension2328 · 2026-11-04
- 字节跳动等开源 Axion 1.0：三阶段训练的 Agent 基础模型 — Yuqi Jia · 2026-11-04
- Grok 问候即自报 he/him 代词，用户惊呼"他们对 Grok 做了什么" — djcows · 2026-11-04
- eliebakouch：用同样方法蒸馏中国开源模型或已悄然进行 — eliebakouch · 2026-11-04
- Mistral 等开放厂商加推闭源 API，分析师称反映客户压力 — eliebakouch · 2026-11-04