高中生用 USB 线串联两台旧安卓手机，本地跑 27B 模型仅 30°C
Grouchy-Zebra9780 · reddit · 2026-10-13
一位高中生用自研 C++ 引擎（llama.rn 的 fork）通过一根 USB 线把两台安卓手机组成集群，在无 GPU 的情况下本地运行 27B 大模型。
方案要点
- 模型：Ternary-Bonsai-2-27B，压缩到 2.06 bpw / 6.52 GiB，困惑度 14.26（参考 14.05）
- 集群模式（小米 + ROG 7）：层数按 4.36 GiB / 2.15 GiB 经自定义 RPC 经 USB 分割，速度约 2.8 tok/s；单机小米 15 可达 5.6 tok/s
- 不发热的关键：权重为 Hadamard 旋转基下的三值（-1/0/1），不打散旋转，而是在 GGUF 中保持折叠，写补丁在设备 ARM CPU 上运行时施加 Hadamard 变换——只用加减法、零 MAC 运算，最高温度约 30°C
作者公开了演示视频、引擎日志与方法论文档，下一步计划写 Vulkan compute shader 提速，并寻求实验室实习或资助。
「Infra」频道最新
- 渔船海上遇险求救无门，Starlink Mini 助船长呼救救回 5 人 — elonmusk · 2026-10-13
- NVIDIA 盘点法国 AI 生态：50 颗卫星星座上天，Bull 产 Vera Rubin 服务器 — nvidia · 2026-10-13
- NVIDIA 盘点法国 agentic 计算生态：卫星、量子到公营机构全面落地 — NVIDIA Blog · 2026-10-13
- LangSmith 为 agent trace 专门造了新数据库 SmithDB — hwchase17 · 2026-10-13
- IMF 最新预测：AI 尚未带来生产率提升，泡沫破裂损失是繁荣收益两倍 — rohanpaul_ai · 2026-10-13
- NVIDIA 发布基于 USD 的 NURBS B-rep 内核，开发者吐槽质量堪忧 — rms80 · 2026-10-13