Every 给每位员工建个人基准,实测发现小模型更能干日常活
every · x · 2026-09-11
Every 团队提出「个人基准(personal benchmark)」方法论:公开榜单测不出的,是模型对你具体工作的胜任度,于是为每位员工都建一套自定义 eval,用你自己的标准打分。
关键事实
- Astra 和 Fable 5.1 在研究生级科学考试分别拿 96% 和 93%,但对「逗号放哪、一页放几个要点」这类真实工作无参考价值。
- 主编 Kate Lee 的基准沉淀其文案编辑判断(逗号、用词规则);eval 负责人 Mike Taylor 的基准围绕做幻灯片,包含「一页一个观点」等偏好。
- 在 Mike 的日常任务测试中,GPT-5.6 Luna 表现优于 Fable 和 GPT-5.6 Sol。
- 文章给出五步工作流:把你平时给 AI 的修改意见转化成可给任意模型打分的检查项。
所属事件:Every弃公共榜单,为每位员工建个人基准测模型(2 条相关)→
「编程与Agent」频道最新
- Will DePue 呼应 OpenAI 加 API 级能力:让多智能体一次并行分发上千个小模型调用 — willdepue · 2026-10-28
- DeckWerk 新版获早期用户好评:连续数周用于真实演讲 — vincesitzmann · 2026-10-28
- Opus 5.5 剪视频可替初级剪辑师,资深剪辑师日产出翻 5 倍 — dotey · 2026-10-28
- 软件栈正为Agent重构:开发者站点、浏览器乃至编程语言都在agent-first — mobileraj · 2026-10-28
- HABIT-Bench:八种记忆系统测用户习惯推断,最佳仅33.61% — SJTU · 2026-10-28
- 「钢琴测试」思想实验:你敢坐在形式化验证过的代码下吗 — moyix · 2026-10-28