端侧 Agent 选型三要素:8GB 手机只余约 4GB 跑模型
helloiamleonie · x · 2026-09-25
Leonie 在 AI Engineer Paris 演讲的线程版,系统讲清了在设备端跑 Agent 模型的约束与实践。
端侧 Agent 的三大要求:
- 内存:iPhone 8GB RAM 与系统和应用共享,实际可用约 4GB,且模型权重和 KV cache 都要塞进去;
- 速度:Agent 工作流有大量工具调用与推理步骤,速度决定任务是 5 秒还是 5 分钟;除 decode 外还要考虑 prefill——Agent harness 的 system prompt 往往巨大;
- 质量:多步工作流要求模型在工具调用、推理、长上下文上持续稳定地好,而不是单项能力「有」就行。
演示:她关掉 WiFi,在 MacBook 上用 llama.cpp 伺服 LFM2.5-2.6B,通过 hermes agent 调用。日历操作、浏览器自动化、找文件这类任务并不需要云端前沿模型能力。本地模型的好处:数据不出设备、本地延迟、无需网络、免费;需要前沿能力时再委托给更大的模型。
所属事件:Liquid AI 发布 LFM2.5-2.6B 并拆解端侧训练配方(10 条相关)→
「编程与Agent」频道最新
- Pydantic 团队开源 Monty：Python 沙箱 1 毫秒启动，1 万脚本仅 674ms — samuelcolvin · 2026-09-25
- 8 个 Agent 平台跑同一任务仅 2 个完成,6 个连 Slack 消息都发不出 — yiddo_bhushan · 2026-09-25
- Ben Lorica：Agent 时代数据栈不再宽容，陈旧数据直接变成错误动作 — bigdata · 2026-09-25
- Bending Spoons 99% AI 流量跑自托管开源模型，靠 evals 省钱 — alex_verem · 2026-09-25
- 开源项目 AIMessage:给 AI Agent 造一个 P2P 共享记忆网络 — Accomplished-Pen-491 · 2026-09-25
- freebots 接近千个 AI 机器人：136万行代码全由 AI 生成 — Daniel_Farinax · 2026-09-25