EdgeRock-4B 可在 MacBook 本地运行：4.6 秒出首 token，约 9 tokens/s
testingcatalog · x · 2026-10-31
EdgeRock-4B 已可在笔记本上本地运行：在 MacBook Pro（M5 Pro，28GB 内存）上用 Rock Matrix 的 PyTorch runtime 调用 Mac GPU，逐步算出 17×23，4.6 秒后开始作答，生成速度约每秒 9 个 token。
结合官方数据，在 32K 输入 + 32K 输出的单 GPU 吞吐测试中，EdgeRock-4B 达到 12,124 tokens/s，约为基座 Qwen3.5-4B（1,889）的 6.42 倍，也远超 Gemma 4 E4B、MiniCPM5-2B 等同级小模型。
所属事件:EdgeRock-4B 开源：KV 缓存恒定省 99% 显存，可本地运行(3 条相关)→
「Infra」频道最新
- 推理优化内卷加剧:从业者要的已是最快最便宜的够用模型 — bendee983 · 2026-10-31
- NVIDIA 发布 Nemotron 3.5 Bolt E4B：4GB 端侧模型，token 输出省 80% — heatOverflower · 2026-10-31
- RTX 6000 Pro 工作站卡现价 13999 美元，较原价直降约 3000 — HankYeomans · 2026-10-31
- 马斯克畅想月球电磁弹射建算力：冲向 Petawatt 时代 — XFreeze · 2026-10-31
- 美国能源部首批商用微型核反应堆安全审查通过,Radiant 获准满功率测试 — McDonaghMatthew · 2026-10-31
- 实测：推理引擎的有损加速默认项，让 Q8 模型掉到 Q2 水平 — jesdga95 · 2026-10-31