研究员：Agent 时代跑评测必须带与不带 harness 各测一次
prajdabre · x · 2026-10-05
研究员 prajdabre 提出，在 agentic 时代评测模型时应当用'带 harness（脚手架/工具环境）'和'不带 harness'两种方式各跑一遍：带 harness 的成绩反映模型能力上限，而不带 harness 的成绩才是裸模型的真实水平。他主张，确认上限后，目标应是探索能否通过其他方式让模型在不依赖 harness 的情况下达到同样任务表现。
「漫话AGI」频道最新
- AI 前后对比：从「维基百科不算来源」到「求你至少看一眼」 — NC_Renic · 2026-10-05
- Schmidhuber 再提旧账：2017 Transformer 源自 1991 线性注意力 — SchmidhuberAI · 2026-10-05
- 用 AI 复刻 Matt Levine 写作风格，作者称成品不会公开 — morqon · 2026-10-05
- Musk 称人类是传播超级智能的引导程序，遭研究员怒斥 — wfithian · 2026-10-05
- 马云与马斯克旧日交锋再热传:AI Agent 时代回看「人比机器聪明」 — elonmusk · 2026-10-05
- MIT 科技评论:全球公众对 AI 既依赖又反感的矛盾心态 — nordicinst · 2026-10-05