开源协议 Gelato:一套 SDK 打通 AI 模型与手机、眼镜、摄像头
Milo_Bindu · reddit · 2026-11-08
StreamingTelligence 团队开源了 Gelato,一个 Apache-2.0 协议与 SDK 栈,用于把 AI 系统连接到手机、智能眼镜、摄像头和嵌入式设备,解决多模态模型接入真实硬件时「每个模型×设备组合都要单独集成」的问题。
架构上分为三部分:
- 设备代理(device agent):广播该设备可用的能力
- 控制器(controller):负责配对、身份、路由、媒体、命令、取消与策略
- 可选模型运行时:解释设备输入或提议动作
安全边界设计值得一提:模型永远拿不到设备配对凭证,也不能直接执行动作——只能提议,由控制器和设备决定是否路由与执行。
当前 MVP 支持 Android、iPhone、Rokid 智能眼镜、Seeed XIAO ESP32S3 Sense 摄像头,集成 Qwen Live、Codex、provider-neutral HTTP 等模型接入。仓库在 GitHub,附 1:46 演示视频。
「编程与Agent」频道最新
- 开源 Job Search MCP 服务器:一站搜索五大招聘网站 AI 岗位 — modelcontextprotocol · 2026-11-08
- Github_private MCP 连接器上线:经 OAuth 让 agent 访问私有仓库与组织数据 — modelcontextprotocol · 2026-11-08
- 博主混用开源模型省 token:Opus 干硬活,便宜模型跑「软件工厂」 — dbreunig · 2026-11-08
- Hermes Agent v0.23.0 上线浏览器版,桌面工作区搬进网页 — Teknium · 2026-11-08
- DeepSeek Harness 重度实测：开箱优于 pi，agent teams 插件必开 — teortaxesTex · 2026-11-08
- WebHarbor 开源:153 个真实网站镜像、3518 个任务训练 GUI Agent — HuaxiuYaoML · 2026-11-08