12 款编码 Agent 会话留存实测:同一修复占用磁盘差 36 倍
jazzy8alex · reddit · 2026-10-10
作者发布 Session-Bench v1,用一个固定小任务(跑检查、改错、编辑文件、再跑检查)对 12 个编码 agent harness 各跑 3 次,再用独立「见证记录」(输出流、检查脚本账本、文件哈希)对照 harness 落盘的会话文件,评 31 项事实、总分 100,每个分数都能从公开文件一键复算。
排名:DeepSeek Harness 96.9、Pi 96.4、Copilot CLI 96.0、OpenCode 94.4、Kimi Code 91.2、Claude Code 89.3、OpenClaw 88.1、Codex 87.5、Hermes 86.4、Claude Desktop 85.6、Antigravity 82.7、Cursor CLI 78.1。
关键发现:
- 对话保真度大家都不丢:11/12 满分,19 分的分差来自其他方面。
- 磁盘占用差距悬殊:同样一次修复,Pi 只写 19 KB,OpenClaw 写 697 KB(其中会话仅占 3%)。把原始会话贴给模型做总结,约 5,000 tokens vs 174,000 tokens。
- 4 家从不「只写一次事件」:OpenCode 把消息部件在 event 表里重复写 1-5 次,Kimi 每条 prompt 写 3 次,按原始文件数消息会高估。
- 仅 4 家记录的 token 用量能对上总数;Cursor CLI 会话里根本不存 token 数。
- Antigravity 和 Cursor CLI 把 protobuf 塞进 SQLite 且无公开 schema,sqlite3 打开也读不了会话。
作者坦承局限:单个合成任务、单机、各 harness 模型不同(评的是文件不是模型);部分评分规则在首次采集后才写、3 条在知道结果后修正或豁免(如 OpenCode 初评 97.4 第一,外部复核后改 94.4 第四);评审靠独立 AI agent 会话加四轮外部模型复核,无第二真人。
「编程与Agent」频道最新
- Garry Tan 力挺 Aside Browser：让 Agent 真正用好网页的解法 — garrytan · 2026-10-23
- MCP 服务器 30 天后暗藏窃取 SSH 密钥指令，作者开源 mcp-guard 防变节 — ErgoniaWorks · 2026-10-23
- 实测：不在 AGENTS.md 里写明的 MCP 工具，编码 Agent 不会用 — colinmcnamara · 2026-10-23
- 用开源模型+Claude 把一段网球视频变成世界级教练 — tweetsatpreet · 2026-10-23
- 132 个免费开源 AI Agent 与 RAG 项目合集，星标 1.65 万 — Arindam_1729 · 2026-10-23
- Google Agents CLI 开放扩展系统，v1.8.0 官方支持 LangChain — rseroter · 2026-10-23