METR：跑 eval 要舍得花 token，难题已用 50–100 亿
idavidrein · x · 2026-07-03
David Rein 推荐 AISI（AI 安全研究所）的博客，并指出：如果正在做模型评测，大概率token用得不够。
他以 METR 为例，称其最难的任务已开始消耗 50–100 亿 token（含缓存），否则较新的模型没有充分发挥空间。这一观点强调了充足推理预算对严肃 agent eval 的必要性。
「编程与Agent」频道最新
- Reticle 推出 AI 编码代理验证层：让 agent 自查生成的代码是否真的能跑 — Scobleizer · 2026-10-27
- 信任你的 Agent，但一定要读它的日志 — brada · 2026-10-27
- 开发者正训练「看门模型」：专门拦截提示注入与记忆投毒 — gnukeith · 2026-10-27
- 开发者训练 4GB 显存可跑的哨兵模型,专防 prompt 注入与记忆投毒 — gnukeith · 2026-10-27
- AI 编程编辑器 Paradev 获 1150 万美元种子轮，USV 领投 — massimosgrelli · 2026-10-27
- 前大厂管理者观点：把团队换成 agents，优秀管理方法论依然成立 — lxfater · 2026-10-27