Google 说边缘 AI 卡在内存，微型模型已能上设备
AI Engineer · youtube · 2026-07-26
Google AI Edge 的观点很直接：边缘 AI 的瓶颈不是算力，而是内存，而且这个问题还在变严重。
- 一款 20 亿参数 Gemma 被量化到 每权重 2.9 bit 后，能在 Raspberry Pi 上跑到约 8 tokens/s，在 Qualcomm NPU 上也能做到每秒几帧的视觉推理。
- 更小的 5 亿到 500 万参数 模型面向老笔记本和低价设备，这类场景里通常要靠 微调，而不是纯提示词。
- 他们给出的落地案例是一个 离线语音转写 应用：用两个 10 亿参数以下 的 Gemma 模型实现，而且还能顺带去掉语气词。
- 视频里还展示了 AI Edge Gallery 和一个小型机器人 demo。
「具身」频道最新
- 研究者用针织结构复现数字电路 — mtizard · 2026-07-27
- 本地 Qwen 模型驱动机械臂测试 78 款手机续航 — gappyvalley · 2026-07-27
- TechCrunch 讨论脑波信号或成 physical AI 训练新钥匙 — TechCrunch AI · 2026-07-27
- YC 讨论具身机器人：预训练、记忆和组合行为才是关键 — ycombinator · 2026-07-27
- 无人机考证热退潮，培训机构收缩转向专业需求 — 创业邦 · 2026-07-27
- 苹果传闻中的 2027 智能眼镜仍难成大众市场 — BenBajarin · 2026-07-27