BALROG 团队讨论新评测范式:以「经验」为横轴衡量模型性能
mitrma · x · 2026-09-20
BALROG 评测相关人员讨论游戏类 agent 评测的新维度:类似 LLM 基准用「x=测试时算力花费,y=性能」作图,这个范式或许更应该用「x=经验(观察到的次数),y=性能」来衡量——如果模拟环境可得,就能直接查询并把经验折入测试时算力的度量中,而这是一个目前未被测量过的范式。
讨论还提出一个更大的想法:要让模型在 NetHack 这类任务上取得进展,或许应该让模型相当自由地调整自己的 harness——例如把 wiki 知识纳入、自制工具来摊销底层推理与控制开销。
所属事件:NetHack 评测之争：该不该让模型自由改造 harness(7 条相关)→
「研究」频道最新
- Cohere等论文:合成预训练收益竟源于嵌入初始化偏差 — LauraRuis · 2026-11-04
- kalomaze 展示 DeepSeek V3.1 底座更大骨干实验，eval loss 降至约 0.82 — kalomaze · 2026-11-04
- Reddit 网友无梯度改写 Qwen 0.6B 权重：39.8M token 让模型「爱上一支乐队」 — Altruistic_Heat_9531 · 2026-11-04
- SpecPilot 智能体自动优化投机解码：速度从 4.46× 提升至 10.87× — pmttyji · 2026-11-04
- 自主 Agent 定制 MSA 策略，提升 AlphaFold 3 蛋白复合物预测 — SJTU · 2026-11-04
- 腾讯 LoCo 用局部偏好学习教会模型何时停止思考，推理大幅变短且不掉准确率 — tencent · 2026-11-04