9B 本地助手从 6/32 提升到 32 次全对:大部分修复靠代码而非 prompt
Macvedus · reddit · 2026-11-14
作者团队按自己的规格构建了 Atlas——一个跑在本地电脑上的个人助手:Ollama 开源模型 + CalDAV 日历 + Markdown 任务文件 + Tailscale 支撑的手机页面 + 每日晨报 web push 推送。他们用 32 个请求(查日历、改约、讲笑话等)在全新会话中做了基准测试。
- 初始仅 6/32:基于规格、无工具说明的 qwen3.5:9b 版本只调了两次工具,会问「星期四是哪年哪月」,不看日历就说周日没早午餐,还谎称添加了实际不存在的日程
- 提问交给程序而非模型:每个会改动数据的工具都配套第二个函数来生成确认问题,如「把牙医预约从周四 16:00 移到周五 10:00?」,执行前二次确认(因为一个新会话曾发现同一条回复里两个 completetask 提案会在第二次确认时勾错任务)
- 校验回复而非只看请求:每个工具的使用说明把 9B 从 15 提到 22,剩余提升全靠代码:按标题关键词找事件、一天提示、可选参数默认值、对「宣称调用却未调用」等行为做提醒。最终 9B 三轮均 31/32,qwen3.8:27b 达 32/32,4B 为 27–28
- 小模型会漏掉 optional 参数:把 onday 参数在 Python 函数里给默认值后解决
内容出自其出版书籍《Build Your Own AI Butler》(Weekend AI Projects 第 1 卷),评论区附免费试读。
「编程与Agent」频道最新
- Claude Code 新版本 2.1.324 即将发布 — ClaudeCodeLog · 2026-11-14
- Matthew Berman 开源 AI 视频剪辑工具 Scarlet:有 bug 但确实提效 — MatthewBerman · 2026-11-14
- kirillzzy 发布 Alien:主打隐私保护的本地 AI 智能体 — Scobleizer · 2026-11-14
- 3DSceneBench 发布:编码智能体重建可用的 3D 房间,功能得分仅 42.1 — yizhu59 · 2026-11-14
- 学 AI 别只学工具:这 5 个基础概念才是真正的护城河 — Zachly · 2026-11-14
- Composio 演示:Claude 花 $0.68 找到 20 条营销线索并验证邮箱入表 — JaynitMakwana · 2026-11-14