LMR-BENCH 登 EMNLP 2025:LLM Agent 能否复现真实语言建模研究
ZhiyuChen4 · x · 2026-10-16
UT Dallas 团队推出的 LMR-BENCH(EMNLP 2025)针对「递归自我改进(RSI)」热潮下的基础问题:LLM Agent 能否理解并复现真实的 LLM 研究。
评测设定:给 Agent 一篇 NLP 论文加一个遮蔽关键代码的仓库,让其根据论文信息补全并实现目标函数,再用单元测试、LLM 评审与人工评审三种方式判定复现质量。该基准与 Scale AI Labs 的 RSI Bench、OpenRSI 等新计划一同呼应了近期 RSI 方向的热度。
「漫话AGI」频道最新
- 传 Nick 可解释性研究重大突破,好到 Yudkowsky 也得下调 p(doom) — QuintinPope5 · 2026-10-16
- 机器人创业者在 2021 年就押注的冷门方向：部署层上下文 — broodsugar · 2026-10-16
- RFdiffusion3 登上 Science,同步开源生物分子设计 agent 框架 Chaperone — anshulkundaje · 2026-10-16
- 激进预测：2028 年起无新工作岗位，2030 年前全员失业 — davidpattersonx · 2026-10-16
- 网友激辩 Apollo 研究：自我对齐趋势是否预示恶性演化 — teortaxesTex · 2026-10-16
- 数学家为何而哭：菲尔兹奖得主亲述被 AI「清盘」的技术性哀伤 — stevenstrogatz · 2026-10-16