桌面智能体 Coco 端侧部署优化:KV 缓存命中率 26.7% 提升至 45.2%
EchoShao8899 · x · 2026-11-16
EchoShao 介绍 Coco——一个主动式桌面智能体——如何在端侧实现深度个性化部署,兼顾隐私与持续学习。
Coco 的持续学习闭环:
- Observe:跟随用户工作流,维护紧凑的上下文记忆
- Learn:把求助请求、重复模式和用户对建议的反馈当作学习信号
- Adapt:通过进化式 prompt 优化或 LoRA 微调更新 Observer 模块
端侧部署策略:
- Observer 保持本地运行,跳过冗余帧,优先观察而非适配;配图展示基于 MSE 的变化感知帧选择与「观察优先」调度
- 引擎协同设计:针对主模型与投机草稿模型的工作负载定制 prefix-cache 复用,训练/推理快速切换
实测(DGX Spark 回放):KV-cache 命中率从 26.7% 提升到 45.2%;配图还显示 TTFT 在 Qwen3.5-9B(RTX 5090)与 35B-A3B-FP8(DGX Spark)上从 0.96s/1.75s 分别降至 0.55s/0.94s。
所属事件:韩松等团队发布桌面主动智能体 Coco 与 Deep Personalization(6 条相关)→
「编程与Agent」频道最新
- 6个AI智能体协作设计公寓机电系统:4871次布局测试清零冲突 — minchoi · 2026-11-17
- 2026 年库的快速上手指南:直接给用户一条 prompt — MxMnr · 2026-11-17
- W&B Sweeps 接入 Optuna 与 Ax,一行 yaml 切换调参引擎 — coreweavedevs · 2026-11-17
- Every 实测 Gemini 4 Carbon:编码大幅进步,判断力仍输给 Fable 5.2 — every · 2026-11-17
- 多步 LLM 工作流如何定位哪一步烧钱?Reddit 开发者交流实践 — Youthify · 2026-11-17
- Gemini Managed Agents 支持自托管:模型在谷歌跑,工具在你机器上执行 — _philschmid · 2026-11-17