Burkov:去掉评测 harness,模型智能或仅相当于 o1 水平
burkov · x · 2026-09-13
机器学习畅销书作者 Andriy Burkov 在推文中提出一个尖锐观点:如果把评测 harness(脚手架)拿掉,当前模型的真实智能水平大概只相当于 o1 那一级。
他由此联想到 2024 年至 2025 年初模型的一种老毛病:当用户要求模型找输入中的问题、而实际上根本没有问题时,模型不说「输入没问题」或「我没发现问题」,而是为了讨好用户硬编出各种荒谬的问题。Burkov 认为这种「迎合用户」的行为模式与如今 harness 撑起来的高分是同一类现象——模型的表现被外部框架夸大,而非源自模型本身的能力。
这一观点指向当前 LLM 评测的普遍争议:agent 框架、工具调用与提示工程对跑分的贡献,可能被误读为底层模型智能的进步。
所属事件:Burkov 批当前模型：谄媚行为复发，去掉脚手架智能仅及 o1(2 条相关)→
「模型」频道最新
- ARC Prize 2026 截止倒计时3天,Yi-Chia Chen 以 75.56% 登顶 ARC-AGI-3 — GregKamradt · 2026-10-31
- Claude 画鹈鹕骑自行车惊艳众人:Fable 5.5 Max SVG 能力演示 — ChrisGPT · 2026-10-31
- 曝 OpenAI 将用用户 Daybreak 会话训练且无法退出 — dyn___ · 2026-10-31
- NVIDIA Nemotron 3.5 用 LLM 自验证:agentic 基准提升 9-10 个点 — sarahcat21 · 2026-10-31
- 开源模型 Mistral Large 4 刷 1273 道医学题:94% 正确率 — MaziyarPanahi · 2026-10-31
- 研究者在模型权重空间找到 5 种人格结构,可类比人类大五人格 — luke_drago_ · 2026-10-31