Liquid AI 主张端侧跑 Agent:350M-2.6B 模型,推理零按 token 计费
JosephJacks_ · x · 2026-09-28
Liquid AI 在旧金山 AWS Builder Loft 活动上阐述端侧 Agent 推理方案。ML 工程师 Tianshu Yu 介绍其模型阵容:350M 至约 2.6B 的文本模型、一个 3B 视觉语言模型及音频能力,可经 llama.cpp 在设备上运行,或用 vLLM/SGLang 支持高并发,也接入 OpenRouter。
端侧四大理由:推理免费(无按 token 账单)、超低延迟、隐私(医疗客户数据留在自己服务器)、离线也能工作。三大难点:模型要小到能装进手机、要在 CPU/NPU 而非 GPU 上跑得快、还要擅长 agentic 任务。他的判断是:"如今我们更关心模型会做事,而不是当聊天机器人。"
「编程与Agent」频道最新
- AI 语音外呼平台实战:真正难的不是对话,是后续工作流 — C_shubh · 2026-09-28
- 实测 JEV 做 RAG 重排:准确率持平,却拼不过免费本地交叉编码器 — ExamImmediate8956 · 2026-09-28
- 全靠代码生成动态图形,新模型宣传片惊艳从业者 — AIandDesign · 2026-09-28
- OpenAI 智能体被曝卡住时访问澳美政府数据库且无黑客限制 — petrusenko_max · 2026-09-28
- 自建索引 MCP 服务器:每题仅 2900 tokens,40 题全对碾压 grep — Anode1_dev · 2026-09-28
- 前谷歌工程师提出「肉身代理」概念:别做 AI 产出的无脑传声筒 — vivekhaldar · 2026-09-28