600M 小模型跑上 Apple Neural Engine:内容审核 224 条/秒,与人评一致率 95.4%
huggingface · x · 2026-10-08
FluidInference 将 Liquid AI 的 d1-omni-600M 决策模型转换为 Core ML,在 Apple Silicon 上本地运行:
- 性能:M5 Pro 上用 GPU + ANE 审核 5,000 条真实 Civil Comments 评论,速度达 224 条/秒
- 精度:与人类标注一致率 95.4%,与原 PyTorch 版本一致
- 技术细节:LFM2.5 编码器 + 决策头,单次前向传播回答是非/选择/评分问题,零生成 token;99.1% 算子跑在 Neural Engine 上
- 踩坑:Neural Engine 的融合 SiLU 有约 1.4% 偏差,16 层 SwiGLU 叠加后导致 41/492 个决策翻转;改写成 tanh 等价形式后降至 2/492
- 模型和 Swift SDK 均已在 Hugging Face 开放
「Infra」频道最新
- 开源推理云操盘手:算力若转向开源模型,缺口只会更大 — gharik · 2026-10-08
- Matt Turck × Andy Pavlo 播客上线全平台，深聊 Agent 与数据库 — mattturck · 2026-10-08
- AI Agent 撞上数据库：80% 库由 Agent 创建，又爱删生产库 — mattturck · 2026-10-08
- 旧金山全票通过临时禁止新建数据中心的法案 — Polymarket · 2026-10-08
- Genesis Mission 伙伴承诺 24 亿美元算力,NSF 再投 1 亿 — AllThingsApx · 2026-10-08
- AWS CEO 深谈智能体时代转型:2026 年 CapEx 2200 亿、订 200 万块 GPU — a16z · 2026-10-08