EdgeRock-4B：推理显存锁定 97.76 MiB,AIME 跑分 82.9 几乎不掉点
xiaohu · x · 2026-10-23
EdgeRock-4B 提出定长内存推理架构：无论推理链条多长、上下文扩到多少万 token，每个请求占用的注意力与状态显存恒定在约 97.76 MiB（其中 KV 缓存仅 72 MiB）。
实测成绩
- AIME 数学竞赛准确率 82.9%，与显存无上限增长的顶尖小模型基本持平
- 256K 长文本下注意力缓存从约 8 GB 降到 72 MB，降幅 99.1%
- 单张 80GB 显卡可并行 512 个长推理任务，吞吐达原架构的 4.9–6.4 倍
方法三件套
- 局部窗口：维护最近 1,024 token 的精确视野，保证当前生成流畅
- 循环网络印象表：用固定大小的状态记录上下文大致走向
- 磐石记忆锚点（RMA）：一个仅容纳 1,024 条记录的「便签盒」，由专门模块给每条信息打分，定期淘汰低分项，只留高价值线索；便签是原文的高精度记录，可随时原样取出
配图对比显示：相比 Qwen3.5-4B，EdgeRock-4B 在 MBPP、HumanEval、SuperGPQA 等榜反超 5–17 分，但 HellaSwag、LiveCodeBench、GPQA-Diamond 等有 10 分以上回落，并非全面无代价。
所属事件:EdgeRock 开源：恒定显存多模态推理适配边缘设备(4 条相关)→
「研究」频道最新
- 首次人体体内 prime editing 治疗完成注射,直接改写 DNA — basedjensen · 2026-10-23
- 经典意义的世界模型 (s, a → s′)：充当神经版 MuJoCo 模拟器 — yshan2u · 2026-10-23
- Gen-HumanWholeBody 全身操作数据集开源:600 小时、1281 种人类技能 — AdinaYakup · 2026-10-23
- 单细胞动力学模型 DynaVelo 发表于 Nature Biotechnology — anshulkundaje · 2026-10-23
- 120 例对比测试：Hy-Memory 召回 100% 却全军覆没空例 — stevyhacker · 2026-10-23
- UCSD SplatLab:一条 prompt 自动复现并撰写 3DGS 研究 — UCSanDiego · 2026-10-23