Stanford/MIT 研究:同一模型换 harness 跑分可差 6 倍
burkov · x · 2026-09-15
Stanford 与 MIT 的论文提出「Model Harnesses」概念：AI 性能不只取决于模型本身，还取决于外围系统代码——决定存什么、检索什么、给模型看什么、工作流怎么跑。同一底层 LLM，仅更换 harness 在同一 benchmark 上最多可产生 6 倍的性能差距。作者结论是 harness 的设计对评测结果影响巨大。Burkov 在转发中提醒 arXiv 链接需拆行发布，因为 X 不会惩罚带链接的帖子。
所属事件:斯坦福MIT论文：同一模型换harness性能可差6倍(3 条相关)→
「研究」频道最新
- ColmapView 开源 Spatial Hub:聚合近 5000 个公开空间数据集 — janusch_patas · 2026-10-31
- ARC Prize 2026 截止倒计时3天,Yi-Chia Chen 以 75.56% 登顶 ARC-AGI-3 — GregKamradt · 2026-10-31
- NVIDIA Nemotron 3.5 用 LLM 自验证:agentic 基准提升 9-10 个点 — sarahcat21 · 2026-10-31
- OpenTargets 非官方 MCP 服务器上线，可查询基因-药物-疾病关联 — modelcontextprotocol · 2026-10-31
- 研究者在模型权重空间找到 5 种人格结构,可类比人类大五人格 — luke_drago_ · 2026-10-31
- 单视图新视角合成基准被指错位，测试时优化对齐会误导评测 — kwangmoo_yi · 2026-10-31