评测者主张让模型自由改造 harness:用 wiki 与自制工具摊销推理
mitrma · x · 2026-09-20
针对 NetHack 上模型表现不佳的讨论,有评测者提出:要在 NetHack(乃至一般任务)上取得进展,应该给模型自由调整自身 harness 的能力——例如把 wiki 知识纳入上下文、制作自定义工具,把低层级的推理与控制摊销掉。这比在固定 harness 下零样本刷分更接近人类玩 NetHack 的方式。
同串中 BALROG 相关者补充:BALROG 测的是零样本表现,但谁第一次玩 NetHack(即使查 wiki)能赢呢?
所属事件:NetHack 评测之争：该不该让模型自由改造 harness(7 条相关)→
「研究」频道最新
- Cohere等论文:合成预训练收益竟源于嵌入初始化偏差 — LauraRuis · 2026-11-04
- kalomaze 展示 DeepSeek V3.1 底座更大骨干实验，eval loss 降至约 0.82 — kalomaze · 2026-11-04
- Reddit 网友无梯度改写 Qwen 0.6B 权重：39.8M token 让模型「爱上一支乐队」 — Altruistic_Heat_9531 · 2026-11-04
- SpecPilot 智能体自动优化投机解码：速度从 4.46× 提升至 10.87× — pmttyji · 2026-11-04
- 自主 Agent 定制 MSA 策略，提升 AlphaFold 3 蛋白复合物预测 — SJTU · 2026-11-04
- 腾讯 LoCo 用局部偏好学习教会模型何时停止思考，推理大幅变短且不掉准确率 — tencent · 2026-11-04