本地跑 LLM 卡在 CPU？Reddit 讨论 AVX-512 对推理速度的影响
catbluesgames · reddit · 2026-10-31
楼主在 13700K + 128GB DDR5 上用 flash attention（basalt）本地跑模型，只有 120-160 tps，怀疑部分算子落在 CPU 上拖慢了吞吐，GPU 利用率也不高。他在纠结升级 Intel 270K+（性价比高但无 AVX-512）还是 AMD 9950X（贵但支持 AVX-512，16 核），发帖征求 AVX2 与 AVX-512 在 AI 工作负载上实际差距的意见。
「Infra」频道最新
- Baseten 拟融资 20 亿美元，估值翻倍至 300 亿 — rohanpaul_ai · 2026-10-31
- RTX 3060+16GB 内存跑出 22 tok/s：Betelgeuse 全精度运行 68GB Qwen MoE — zyxciss · 2026-10-31
- php2shell 漏洞一周后约 25 台 Palo Alto 防火墙遭 root 级攻陷 — cyb3rops · 2026-10-31
- 法国通过互联网流量税:每 GB 流量征收 0.055 欧元 — helloplanets · 2026-10-31
- 网友调侃：与其偷三元催化器不如拦 Waymo，车上 H100 值 15 万美元 — vincent_koc · 2026-10-31
- 传谷歌将砍掉 AI Overview:据称因广告点击率受损且算力消耗过大 — Dan_Jeffries1 · 2026-10-31