评测工作流核心：最大化专家每单位注意力的信息增益
danshipper · x · 2026-11-11
转发 @hammermt 的观点：与领域专家合作做 evals 的关键，是设计一套工作流，最大化从他们每单位注意力中获得的信息量。
一句话方法论：专家时间是最稀缺资源，评测设计要围绕「如何让专家的每次投入产出最多有效标注/判断」来优化。
「编程与Agent」频道最新
- Qwen4-Max-Preview 实测：一个 prompt 生成带真实光照的 3D 太阳系 — JafarNajafov · 2026-11-11
- karthiks 开源全套数据可视化 Skills，MIT 协议免费用 — SuB8u · 2026-11-11
- 不用视频模型:Blender+Claude Code 打造月光图书馆电影感短片 — dotey · 2026-11-11
- 安全团队攻破最新版 Codex:提示注入到沙箱逃逸再触及 npm 供应链 — rez0__ · 2026-11-11
- 新 benchmark Continual-ARC:主流 agent 都学不会经验,9B 模型微调可以 — Med1_Ai · 2026-11-11
- 边散步边口述问题，让 Claude Code 自动跑实验的工作流 — DimitrisPapail · 2026-11-11