Plane AI 实测 165 问全对:中位响应 18 秒、单次成本 0.1 美元
JosephJacks_ · x · 2026-11-04
项目管理工具 Plane 团队大幅改进其 AI harness,中位响应时间降低超过 20%,并公布了一套完整的真实场景评测:
- 测试环境:为一家虚构公司搭建工作区,含 64 名成员、2,560 个工作项、10 个项目
- 题目设计:从简单问题(「哪些紧急支付项已逾期、负责人是谁」)到复杂根因分析(「账本重复记账事故的根因及后续行动项状态」)
- 结果:55 个问题 × 3 次运行,Claude Sonnet 5.5 high effort 模式下 165/165 全部答对(100%)
- 成本与速度:中位回答时间 18 秒,中位单次成本 $0.10(配图散点图显示多数答案集中在 20 秒/$0.10 以内,少数复杂问题耗时 80+ 秒、成本超 $0.70)
团队认为 Plane AI 未来将取代产品内的搜索和大量 UI——用户直接提问,由 AI 找到工作项或直接执行。
「编程与Agent」频道最新
- Compound Engineering 3.35 发布:知识沉淀从文档升级为测试与规则 — kieranklaassen · 2026-11-04
- 开发者用 Claude 批量修复多仓库同款 bug，却因 AI 写码被拒 PR 甚至举报 — cneuralnetwork · 2026-11-04
- 开发者自曝 agent 批量注册失控，公开承认后甩锅 AI 引群嘲 — evilsocket · 2026-11-04
- YC 系 Vyra 发布：对话式 AI 视频剪辑 Agent，自动切卡点加字幕 — ycombinator · 2026-11-04
- 开源 AFK Pilot 18 万安装：一个扩展深度集成多家编码 Agent — PawelHuryn · 2026-11-04
- Qodo 为 Codex 代码审查引入公司上下文,主张双 agent 互审 — OpenAI · 2026-11-04