NetHack 评测争论：该让模型自由改造自己的 agent harness 吗
creus_roger · x · 2026-09-19
围绕 BALROG/NetHack 评测结果，作者 creusroger 提出核心观点：要让 agent 在 NetHack 这类长程任务上取得实质进展，应该允许模型相当自由地调整自己的 harness——例如把 wiki 知识吸收进上下文、创建自定义工具来摊销底层推理与控制开销。
回复中有人质疑新结果比上周差，猜测是 BALROG 只测 zero-shot；作者认为这类似于「谁第一次玩 NetHack 就能通关」的问题，说明评测口径本身值得商榷。
所属事件:NetHack 评测之争：该不该让模型自由改造 harness(7 条相关)→
「编程与Agent」频道最新
- 不写代码：用 Claude 搭出助理、会计等 5 个虚拟员工 — evielync · 2026-11-04
- Replit 运营负责人自建 AI 应用：自动分级客服工单并路由处理流程 — amasad · 2026-11-04
- 自主 Agent 定制 MSA 策略，提升 AlphaFold 3 蛋白复合物预测 — SJTU · 2026-11-04
- NVIDIA 研究：频繁上下文压缩可保长任务准确率，长上下文模型或非必需 — nvidia · 2026-11-04
- 纯 vibe coding：Opus 5.5+Meshy 做出 5 个可切换光照的彩绘玻璃 3D 场景 — Pristine_Good7326 · 2026-11-04
- LLM 写的文档为何总是难读？作者指其追求冲击力而非可读性 — mervenoyann · 2026-11-04