Toloka 实测 11 模型:结构化记忆普遍提升 agent 表现且更省钱
MParakhin · x · 2026-10-23
Toloka 与 xmemory 在企业级工具调用数据上测试 11 个主流模型,约 2 万次评分运行,验证结构化记忆(agent memory)是否真的优于纯文档检索。
核心发现:
- 质量提升普遍:加了记忆栈后所有模型都不低于文档检索基线,11 个中 6 个在 held-out 任务上提升。
- 又好又省:Kimi K3、Haiku 4.5、Sonnet 5、DeepSeek V4 Flash 在提高准确率的同时降低单次成本;图上 Kimi K3 省约 20% 成本、质量提升最高。
- 记忆胜过规模:小快模型配记忆能超过只靠检索的大模型。
- 只换检索引擎对分数无明显影响,但账单降 26%。
- 单独评估最终产出记录发现:大部分收益来自 agent 更严格按正确步骤执行,产出记录的准确率几乎没动——只看总分容易漏掉这一点。
「编程与Agent」频道最新
- Garry Tan 力挺 Aside Browser：让 Agent 真正用好网页的解法 — garrytan · 2026-10-23
- 1Password 推出 Agent 专用登录方案，AI 可代登录却不接触密码 — AndrewSchmidtFC · 2026-10-23
- MCP 服务器 30 天后暗藏窃取 SSH 密钥指令，作者开源 mcp-guard 防变节 — ErgoniaWorks · 2026-10-23
- 实测：不在 AGENTS.md 里写明的 MCP 工具，编码 Agent 不会用 — colinmcnamara · 2026-10-23
- 用开源模型+Claude 把一段网球视频变成世界级教练 — tweetsatpreet · 2026-10-23
- 132 个免费开源 AI Agent 与 RAG 项目合集，星标 1.65 万 — Arindam_1729 · 2026-10-23