CoreML 适配 FP8 权重模型,已在 M6 芯片小模型跑通
AIFlow_ML · x · 2026-09-24
开发者 @anemll 发布了打过补丁的 CoreML 模型,可在苹果 M6 芯片上加载 FP8 权重,并在小规模测试中运行正确。作者表示还需要转换更大的模型来做进一步验证,属于端侧部署 FP8 模型的早期尝试。
「Infra」频道最新
- 开发者用编码 Agent 在 H100 上跑 Miles 训练并提交首个 PR — VoidAsuka · 2026-09-24
- 工业界快速跟进:MRC 多路径可靠连接回应超大规模 RDMA 论文 — thoefler · 2026-09-24
- 报告:亚马逊美国数据中心容量接近翻倍,比微软多 69% — anselm · 2026-09-24
- 纯 JVM 跑 NVIDIA Parakeet:1 小时音频 44 秒转录,比 C++ 参考实现快 2 倍 — mkheck · 2026-09-24
- 用 Ollama 本地跑开源模型,零订阅复刻 Claude Code 工作流 — Aiden_Tech_Ai · 2026-09-24
- NVIDIA 研究:KV cache 跨模型直传,小模型记忆迁移到大模型免重算 — anselm · 2026-09-24