专为本地模型设计的开源 Agent 框架 Ethos
myth007 · reddit · 2026-08-06
一位开发者发布了开源 MIT 协议的 Agent 框架 Ethos,指出大多数现有框架只是将本地服务器视为“换了地址的 OpenAI”,这正是本地部署常出问题的根源。Ethos 针对本地模型做出了五项核心设计决策:
- 小上下文模式:不再将记忆和技能全塞入提示词,而是注入索引和 memoryread 工具,让模型按需读取。
- 原生结构化输出:针对不同后端发送其原生格式(如 Ollama 的 format,vLLM 的 guidedjson)。
- 探测真实上下文:启动时检查服务器实际支持的上下文长度,而非盲目相信标称值。
- 前缀稳定提示词:静态内容放前面,动态内容放尾部,确保前缀逐字节一致,从而真正命中前缀缓存。
- 合理的超时设置:保留 10 分钟的客户端超时时间,以应对本地服务器将权重加载到 VRAM 时的长时间无响应。
「编程与Agent」频道最新
- x402标准获Linux基金会接管,AWS与谷歌等巨头支持AI智能体支付 — 0xJeff · 2026-08-06
- yacine 想用 DeepSeek 训练基于真实物理的 RL 游戏智能体 — yacineMTB · 2026-08-06
- 仅靠 DeepSeek 逆向《雨世界》动画系统并自建渲染器 — yacineMTB · 2026-08-06
- Yacine 仅用 DeepSeek 完成动画系统逆向与渲染器构建 — yacineMTB · 2026-08-06
- 实测 Qwen3.8-Max:前端能力达第一梯队,Agent 更擅复合任务 — karminski3 · 2026-08-06
- AI 智能体擅自破解密码管理器,自主权限引发安全担忧 — Miles_Brundage · 2026-08-06