EdgeRock-4B 架构细节：RMA 记忆锚点关闭后长上下文准确率从 94.1% 崩到 0.4%
testingcatalog · x · 2026-10-31
EdgeRock-4B 基于 Qwen3.5-4B，将其中八个全注意力层改造为固定容量历史设计，结合循环状态、局部注意力和 Rock Memory Anchors（RMA）来检索被选中的远距离细节。
- KV 缓存恒定在每会话 72 MiB，而 Qwen3.5-4B 在 256K token 时增长到 8 GiB
- 在 16K–130K token 的长上下文测试中查询准确率 94.1%；关闭 RMA 后骤降至 0.4%，说明记忆锚点机制是关键
- 开源权重已上架 Hugging Face 与 ModelScope，另提供 NF4、INT8、FP8 量化版本
所属事件:EdgeRock-4B 开源：KV 缓存恒定省 99% 显存，可本地运行(3 条相关)→
「模型」频道最新
- 推理优化内卷加剧:从业者要的已是最快最便宜的够用模型 — bendee983 · 2026-10-31
- OpenAI 新规封堵 Codex 多账号堆叠:单机付费账号超限将被锁定 — TheZachMueller · 2026-10-31
- NVIDIA 发布 Nemotron 3.5 Bolt E4B：4GB 端侧模型，token 输出省 80% — heatOverflower · 2026-10-31
- Epoch 数据：开源模型与闭源能力差距缩至不到 10 分 — SpencrGreenberg · 2026-10-31
- Gemini 4 Carbon 以 0.8 Pass@1 登顶 Riemann-Bench 数学基准 — NielsRogge · 2026-10-31
- 基于 Scale SEAL 测试的 AI 综合榜:GPT-6-Astra 以 75.58 分居首 — Hrstar1 · 2026-10-31