DAIR.AI 主理人:不做 eval 就别谈递归自我改进
omarsar0 · x · 2026-10-30
DL 研究通讯 DAIR.AI 主理人 Elvis Omarsar(omarsar0)分享团队近期重心:大量时间花在构建 evals 上,并呼吁从业者学习构建评测。
他的核心观点:
- 没有 evals 就谈不上递归自我改进(RSI)
- 别指望让 agent 自己生成评测——它们目前做得很差
- 给 agent 一个具体的结果度量方式、让其沿长期目标保持正轨,非常有用:目标可度量时,hill climbing(爬山优化)才更容易
他同时表示 DAIR.AI 可协助企业构建 evals 或开展合作。
所属事件:DAIR.AI 创始人:不会做评测就谈不上改进任何东西(4 条相关)→
「编程与Agent」频道最新
- 用户分享用 Grok Bot 生成式编码:把验收流程写进 prompt — NickPassig · 2026-11-01
- Nous Research Hermes Agent 接入 Beam 数据管道,由 Bittensor 驱动 — markjeffrey · 2026-11-01
- 多模型容灾链会击穿安全底线:拒绝触发即切换更宽松模型 — petrusenko_max · 2026-11-01
- Bilgin Ibryam 精选 12 份系统设计与架构必读 Newsletter — bibryam · 2026-11-01
- Context.dev 获 900 万美元融资,Agent 联网成独立赛道 — miky_shil · 2026-11-01
- 开源项目 HelixFoundry 获 1.9k 星:让 Agent 给企业数据自动建本体图谱 — adnan_hashmi · 2026-11-01