Claude Code 每步发 16581 token,成绩却与 100 行 mini harness 相当
bendee983 · x · 2026-10-25
两项独立研究表明，复杂的 agent harness 并不一定提升 LLM 编码准确率，反而可能让 token 账单翻三倍。
- 引用 VentureBeat 数据：Claude Code 每一步发送 16581 token 的固定上下文，而 100 行代码的 mini-SWE-agent 只发 829 token，但两者在 SWE-bench Verified 上成绩统计上等价
- 厂商自报的 benchmark 结果需打折扣：同一模型+harness 配置多次运行同一 prompt，成绩波动幅度可能大于厂商宣称的 harness 带来的提升
- 结论：自己写 benchmark/eval、自己跑测试、自己下判断
「编程与Agent」频道最新
- 开发者给 Instagram agent 排夜班：一晚核查 145 账号只关注 10 个 — petrusenko_max · 2026-10-25
- Every 团队用 Minga 编排器以目标层级管理编程 Agent — every · 2026-10-25
- 1Password 让 AI 代理用你的密码登录但看不到明文 — LuizaJarovsky · 2026-10-25
- 用 Claude Code 搭本地情报循环，夜间自动产出竞品简报 — aryanXmahajan · 2026-10-25
- 一句提示词让 AI 生成 90 年代学术风天气网页，效果惊艳 — vboykis · 2026-10-25
- SaaStr 创始人：AI Agent 正在取代人类成为软件买家 — morganb · 2026-10-25