InferNEON 用裸机 Rust 内核把 MoE 模型塞进廉价开发板
paraschopra · x · 2026-10-27
paraschopra 的 residency 学员 Karthik 在做 InferNEON，探索大语言模型能被压到多便宜的嵌入式硬件上。MoE 模型每个 token 只激活少数专家，但全部专家远超单板内存，多数边缘方案只能从闪存分页加载、速度极慢。他从三方面入手：一是无 OS、无 libc 的裸机 Rust 推理内核（nostd + 手写 ARM NEON），已在 QEMU 中逐 token 对齐运行 OLMoE-1B-7B；二是用真实 router trace 与回放模拟器测量专家缓存/预测何时有用——目前是原始容量在慢存储上大幅胜过聪明的缓存预测；三是「eNPU」：一块以太网连接的廉价加速板，专家以三值形式常驻、只有激活值过线，在树莓派 CM4 上三值化让专家从访存受限变为计算受限（约比 bf16 快 4.5 倍），每层一次往返约 0.25ms。长期目标：把多块廉价板当作一个内存与算力池，让「一顿饭钱」的硬件跑起严肃的本地 AI。
「编程与Agent」频道最新
- Compound Engineering 3.33.0 发布:PR 工作流升级,专治 agent 越界 — kieranklaassen · 2026-10-27
- Lovable 月调 7536 亿次 Workers,从 Next.js 迁至 TanStack Start — ritakozlov · 2026-10-27
- Harness Lens 收录 30 个开源编码 Harness,现已开放提交 — yb2698 · 2026-10-27
- 用模式语言设计 agent 界面：在语法与名词动词层级做抽象 — DanGrover · 2026-10-27
- 微软 Foundry 托管 agent 拥有独立邮箱与组织架构身份 — marlene_zw · 2026-10-27
- 36 个 AI 评审 36:0 一边倒：单会话技能架构胜过 Superpowers — Kai_ThoughtArchitect · 2026-10-27