AMX 加速下 Xeon CPU 活跃参数入 L2 缓存跑出 14572 tok/s
GregoryDiamos · x · 2026-09-08
作者讨论在 Intel Emerald Rapids CPU 上用 AMX 加速推理的实验：将模型的活跃参数尽量装入 L2 缓存，在基本 bf16 配置下达到 14572 tok/s 的生成速度。作者也指出通过更好的权重压缩可以进一步提高活跃参数占比，暗示该方案还有优化空间。
所属事件:工程师用 Claude Code 造出 CPU 上万级 token/秒超小模型(8 条相关)→
「Infra」频道最新
- Celesto 推出便宜近 90% 的 CI Runner，兼做 Agent 云电脑 — aniketmaurya · 2026-10-27
- AW-0 单卡 RTX 5090 推理 230ms:联合去噪比自回归代码快 2.4 倍 — trevordarrell · 2026-10-27
- 全美市议会话题追踪网站：数据中心热度仅次于匹克球场 — zakkohane · 2026-10-27
- Galaxy S26 纯端侧跑 MiniMax H3：7 分钟生成 5 秒带音频视频 — BidFunny4862 · 2026-10-27
- Unconventional AI 收购 NeuReality,冲刺算力效率提升 1000 倍 — NaveenGRao · 2026-10-27
- 马斯克断言:机器人 RAM 需求将超其他一切,超级智能算力将移向深空 — elonmusk · 2026-10-27