极客在8美元ESP32芯片上实现本地大模型

极客开发者成功在价值仅 8 美元的 ESP32-S3 微控制器上实现了端侧本地 AI 的运行。不仅展示了用单块芯片替代庞大服务器打造本地语音助手，甚至模拟了完整的 Windows XP 系统。最硬核的突破在于，开发者成功在芯片上跑通了一个 28.9M 参数的大语言模型，并实现了每秒 10 tokens 的生成速度，将其应用于咖啡师 AI 等场景。

2026-08-06 ~ 2026-08-06 · 2 条相关