32GB M4 MacBook Air 上跑出 8-22 tok/s，Cherenkov 引擎刷新 Qwen3.8 极限
alfredr · reddit · 2026-09-11
- 开发者发布开源推理引擎 Cherenkov，专为 Apple Silicon 设计，在仅 21GB 内存分配下让 Qwen3.8-Flash-Next（Q4 混合精度）跑出 8-22 tok/s，自称刷新了该模型在内存受限设备上的推理纪录。
- 核心思路是不把整个模型载入统一内存，而是维护一个有界的专家工作集，并用单层前瞻预测下一步需要的专家，同时提前发起 SSD 读取，可选混合精度执行。
「Infra」频道最新
- 云容量危机已成 AI 架构问题，作者撰文剖析挑战 — DavidLinthicum · 2026-10-26
- SpaceX 40B 美元 GPU 融资曝光，算力已达 1.7GW — XFreeze · 2026-10-26
- Meta 拟融资最高 950 亿美元，全力押注 AI 扩张 — Polymarket · 2026-10-26
- NBIS CEO:上周起债市对 Neocloud 关门,改靠客户预付款续命 — zephyr_z9 · 2026-10-26
- CoreWeave 五年期 CDS 飙至约 1100bps，市场担忧 AI 泡沫以信贷危机开场 — kimmonismus · 2026-10-26
- AI 需求重塑云计算：算力稀缺、长期合约取代按需模式 — DavidLinthicum · 2026-10-26