BitNet/三元模型进展跟踪:Bonsai 27B 与 Maple
pmttyji · reddit · 2026-08-19
汇总 1-bit/2-bit/Ternary/BitNet 模型的最新动态:
- Bonsai 系列:27B 版本的 CUDA 和 Vulkan 后端支持已合并至 llama.cpp 主线,CUDA 优化带来 15-40% 吞吐提升。
- Maple-Preview:20B-A1B 模型在 Mac Mini M4 上达 200+ t/s,iPhone 上达 120+ t/s。
- Mach-1:35B 模型在消费级笔记本上可达 120 t/s。
- 其他:列出了 Neutrino-8B、Pestle-27B-Ternary(医疗)及相关图像模型和 GGUF 量化资源。
「Infra」频道最新
- LifeOS:基于本地模型的语音驱动个人管理工具 — Extension-Bid-639 · 2026-08-24
- 超算中心硬件选型:SSD与HDD的密度权衡 — generativist · 2026-08-24
- 三星展示 HBM 散热新方案,芯片性能存差异 — BenBajarin · 2026-08-24
- Tobi 开源 walgit:无数据库的单二进制 Git 服务器 — jevon · 2026-08-24
- s3collections:用S3构建分布式系统持久化数据结构 — andersonbcdefg · 2026-08-24
- 预测市场:年底前美一州实施数据中心禁令概率 68% — Polymarket · 2026-08-24