ANEMLL Forge 0.2.1：M6 Mac Mini 32GB 上跑 Qwen3.8-27B 达 192K 上下文
Competitive-Bake4602 · reddit · 2026-10-25
ANEMLL Forge 0.2.1 让 M6 Mac Mini（32GB）用户在 Apple Neural Engine 上以最高 192K 上下文运行 Qwen3.8-27B。新特性包括 INT8 K/V 缓存（较 FP16 减半）和一个共享目标模型输出 head 的小型 drafter，共省 0.86 GB ANE 内存且不损失速度。实测解码速度依内容而定：JSON 35–62 tok/s、代码 18–32、散文 10–17；短上下文 prefill 260 tok/s，192K 时 62 tok/s。首次完整编译 192K 约 2 小时（一次性、有缓存），用 --ctx 只导出所需条目可大幅加速——16K 从下载到起服约 10 分钟。作者认为 32GB 机器的甜点位是 96K：123 tok/s prefill、约 27 tok/s 解码、约 21.4 GB 内存。附 GitHub release notes、论文（ANE 上 Three Bit MLP 向量量化）和 150K token 无压缩生成俄罗斯方块的演示视频。
「Infra」频道最新
- 开源与本地 AI 作为制衡力量的意识正在觉醒 — mjdramstead · 2026-10-25
- OpenClaw 作者上月烧掉 1000 万美元 AI token,Scoble 直呼离谱 — Scobleizer · 2026-10-25
- rakyll 开源 aic:为 AI 开发者打造的 Docker 式隔离运行工具 — rakyll · 2026-10-25
- 客户要求每秒建 1000 个 Git 仓库,Cloudflare 三人团队自研 Git 服务器搞定 — ritakozlov · 2026-10-25
- 清华 KT-FT 让 CPU 参与 MoE 微调计算，吞吐量最高提升 21.2 倍 — jiqizhixin · 2026-10-25
- 西门子联手英伟达打造 AI 驱动工厂，AI 智能体进入自主生产 — emmanuelvivier · 2026-10-25