Google 说边缘 AI 卡在内存，微型模型已能上设备
AI Engineer · youtube · 2026-07-26
Google AI Edge 的观点很直接：边缘 AI 的瓶颈不是算力，而是内存，而且这个问题还在变严重。
- 一款 20 亿参数 Gemma 被量化到 每权重 2.9 bit 后，能在 Raspberry Pi 上跑到约 8 tokens/s，在 Qualcomm NPU 上也能做到每秒几帧的视觉推理。
- 更小的 5 亿到 500 万参数 模型面向老笔记本和低价设备，这类场景里通常要靠 微调，而不是纯提示词。
- 他们给出的落地案例是一个 离线语音转写 应用：用两个 10 亿参数以下 的 Gemma 模型实现，而且还能顺带去掉语气词。
- 视频里还展示了 AI Edge Gallery 和一个小型机器人 demo。
「具身」频道最新
- NVIDIA 开源 FLORA：机器人数据引擎，成本仅 GPT-6 Astra 的 1/125 — nvidia · 2026-10-27
- 具身智能创业的隐藏难题：机器人公司需要另一种运营纪律 — ___Mufasaa · 2026-10-27
- π0.5 实验：演示数从 10 增至 438，放球入碗成功率 7%→83% — stingning · 2026-10-27
- GPT-6 Astra 零微调操控灵巧手：500 试仅 26 次成功，成功率 5.2% — stingning · 2026-10-27
- 灵巧操作基准 HandsOn 发布:66 个人工核验任务配 1.8 万条人类示范 — stingning · 2026-10-27
- DexPort：手持真机器手的 20 自由度灵巧手数据采集接口 — pabbeel · 2026-10-27