Tessl 研究:装对 skill 可提 20% 准确率,但 agent 激活率仅约 40%
bibryam · x · 2026-10-30
Tessl 研究工程博客提出一个大规模评估 Skills(给 agent 提供任务知识的可复用指令包)价值的框架,关键发现:
- 收益显著:在基于 skill 内容生成的真实编码任务上,有相关 skill 可用比无 skill 基线绝对准确率提升约 20%。
- 小模型可被 skill 补足:小模型加上合适 skill 可达到接近大模型的表现,成本仅为 1/3。
- 激活是短板:在非强制场景下,agent 常常无法激活已可用的 skill,激活率降至约 40%。
- 评测质量很关键:约 30% 的自动生成任务存在泄漏等问题,不修正会得出误导性的乐观结论。
- 配图展示框架流程:从 Tessl Registry 采样并过滤 skill,每个 skill 生成至多 5 个任务/评测标准,再由 Agent Solver 做题、Agent Judge 评分。Tessl 已开源配套评测框架。
「编程与Agent」频道最新
- Cursor 市场惊现木马化 Claude Code 扩展 v2.1.313，约 5000 用户受影响 — therealdanvega · 2026-10-30
- AI 生成 RSVP 站点后，TestSprite 自主产出 35 项浏览器测试 — alexisjross · 2026-10-30
- OpenAI DevDay 社区场 11 月 21 日落地斯德哥尔摩，送 $150 额度 — paw_lean · 2026-10-30
- 微软 PPCC26 主题演讲：Work IQ 打通业务应用间的上下文孤岛 — donasarkar · 2026-10-30
- 用 Codex 把宠物照片变成三星 Frame TV 的连环画频道 — sch · 2026-10-30
- YC 转发推荐 Mirrors:实时发现并修复 AI Agent 反复犯的错 — ycombinator · 2026-10-30