ONNX Int8 AVX512 量化让 CPU 推理 34ms 对 90ms，快 2.6 倍
wavefnx · x · 2026-11-12
wavefnx 分享其 ONNX Runtime 自定义量化管线：Int8 AVX512 VNNI 在 CPU 上跑 34ms，对比默认 fp32 的 90ms，快约 2.6 倍、体积小 4 倍，仅因量化带来约 1-2% 语义损失（多数场景不重要），结论是「明确的赢」。
此前他还提到自己年初以来就在做 AMD 兼容的运行时与 kernel，当时大家都在卷 Nvidia，现在看 AMD 能否接住聚光灯。
「Infra」频道最新
- 美国最大公共养老金董事质疑 AI 投资：数据中心反弹或拖累回报 — asusarla · 2026-11-12
- 「Harness 定义基础设施」：agent 框架与基建正走向垂直整合 — HankYeomans · 2026-11-12
- CoreWeave 转向客户预付款和更短合同为 AI 扩张输血 — TechCrunch AI · 2026-11-12
- AI 烧钱与监管担忧发酵，10 月外资撤出亚洲股市近 500 亿美元 — nordicinst · 2026-11-12
- Bernstein 评数据中心可信管线：Meta 微软谷歌领衔，Kevin O'Leary 团队遭嘲讽 — aronchick · 2026-11-12
- Photoroom 用 SkyPilot 每周回收约 1000 小时闲置推理 GPU — skypilot_org · 2026-11-12