ESP32微型AI项目爆火:2800万参数实现端侧推理
minchoi · x · 2026-08-04
开发者 slvDev 在 GitHub 上开源了其 ESP32 微型 AI 项目，目前已斩获超 3400 Star。该项目成功在 ESP32-S3 微控制器上运行了一个 2890 万参数的语言模型。
项目通过借鉴 Google Gemma 3n 的 Per-Layer Embeddings 技术，将绝大部分模型参数存储在闪存中，从而在仅有 512KB SRAM 的芯片上实现了完全离线的本地推理，端到端生成速度达到 9.88 tokens/秒。
所属事件:开发者8美元ESP32实现2800万参数端侧AI(2 条相关)→
「Infra」频道最新
- 传美国拟禁中国数据中心组件，欧洲借机推进算力主权 — nordicinst · 2026-08-05
- Cursor 发布 MoE 训练 megakernel，宣称算力近乎翻倍 — CapnHat · 2026-08-05
- NVIDIA 教程：在 Jetson 平台构建全本地自主 Agent — NVIDIA Developer · 2026-08-05
- YC 新项目 Caution Hosting:为敏感 AI 负载提供安全托管 — ycombinator · 2026-08-05
- 分析：超 70% 云厂商 AI 收入高度依赖 OpenAI 与 Anthropic — johnnyApplePRNG · 2026-08-05
- engy.ai 上线 Kimi K3，提供全网最低推理价格 — markjeffrey · 2026-08-05