端侧 Agent 选型三要素:8GB 手机只余约 4GB 跑模型
helloiamleonie · x · 2026-09-25
Leonie 在 AI Engineer Paris 演讲的线程版,系统讲清了在设备端跑 Agent 模型的约束与实践。
端侧 Agent 的三大要求:
- 内存:iPhone 8GB RAM 与系统和应用共享,实际可用约 4GB,且模型权重和 KV cache 都要塞进去;
- 速度:Agent 工作流有大量工具调用与推理步骤,速度决定任务是 5 秒还是 5 分钟;除 decode 外还要考虑 prefill——Agent harness 的 system prompt 往往巨大;
- 质量:多步工作流要求模型在工具调用、推理、长上下文上持续稳定地好,而不是单项能力「有」就行。
演示:她关掉 WiFi,在 MacBook 上用 llama.cpp 伺服 LFM2.5-2.6B,通过 hermes agent 调用。日历操作、浏览器自动化、找文件这类任务并不需要云端前沿模型能力。本地模型的好处:数据不出设备、本地延迟、无需网络、免费;需要前沿能力时再委托给更大的模型。
所属事件:Liquid AI 发布 LFM2.5-2.6B 并公开端侧 Agent 后训练配方(11 条相关)→
「编程与Agent」频道最新
- Plurai 推出 Agent 仿真平台：从代码库构建数字孪生自动找故障 — thisguyknowsai · 2026-11-11
- 0xJeff:x402 的真正短板在企业级,大钱在 B2V 而非机器互付 — 0xJeff · 2026-11-11
- 开发者自建 git 网页应用被 Codex 安全护栏误判为网络安全风险 — brianmichel · 2026-11-11
- 形式化验证让 AI 编码更快：Lean 证明成为 agent 优化护栏 — bigdata · 2026-11-11
- Orchestrator v0.14.11 发布：统一管理散落各处的 AI 编程会话 — julianweisser · 2026-11-11
- DeepSeek 开源编码 agent DSH 登上 HF Harness 榜，五项评测并列第一 — TheZachMueller · 2026-11-11