用 no_std Rust 把 200 万参数 embedding 模型跑进 16MB 的 ESP32
qdrant_engine · x · 2026-11-17
Qdrant 工程师 Clelia 分享了一篇博客:将 Minish Lab 的 potion-base-2M 极小 embedding 模型移植到仅 16MB 内存的 ESP32 微控制器上运行。
- 通过 nostd Rust 编写固件,用 build 脚本把模型权重与词表在编译期转成常量和 blob 直接编进固件,运行时芯片只读内存
- 速度:嵌入约十几个 token 约 1.2ms,吞吐约 830 embeddings/s(短文本),远低于 Mac 上静态模型的 11-15k/s,但内存少 3000 倍
- 结论:搜索可以真正跑在边缘设备上
「Infra」频道最新
- 博主 argue 全面封堵算力反而催生对手盲区与加速 — TinfoilTricorn · 2026-11-17
- LLM 后训练中生成与训练并行致数据陈旧,系统分析如何提速蒸馏管线 — burkov · 2026-11-17
- SK 海力士对英伟达收入翻倍至 240 亿美元,但真正的集中风险在美系客户 — tengyanAI · 2026-11-17
- macOS 连续运行 49.7 天后 TCP 栈爆雷,新连接全部失败 — DanielLockyer · 2026-11-17
- 语音 Agent 被背景噪音干扰 0/5 应答,自适应门控修复至 4/4 — shrapknife · 2026-11-17
- AMD Strix Halo 实现 int4×int4 WMMA,Gemma 4 31B 推理提速 2.43 倍且精度持平 — No-Dragonfly6246 · 2026-11-17