Every 弃纯榜单:用真实工作自建个人基准评新模型
danshipper · x · 2026-09-12
Every 的 Dan Shipper 指出 benchmark 分数说明不了模型在你真实工作上的表现,因此三年来的做法是「vibe checks」——基于团队真实工作的上手长文评测。现在团队更进一步:hammermt 和 nityeshaga 搭了内部平台,让每个人基于自己日常工作构建个人化基准,把主观 vibe check 量化。
所属事件:Every弃公共榜单,为每位员工建个人基准测模型(2 条相关)→
「模型」频道最新
- GPT-6.1 Terra 控制真机器人胜过 Opus 5.5,较三月前提升 3.7 倍 — ycombinator · 2026-10-28
- Kimi 发布 K3.1 Pro:3T 级开源权重模型,100 万上下文幻觉降 65% — NVIDIAAI · 2026-10-28
- OpenSIR 自博弈框架:LLM 无需训练数据自学数学推理 — PMinervini · 2026-10-28
- Claude Opus 5.5 从二进制重建 SQLite 等程序,ProgramBench 得分 18.5% — winer666 · 2026-10-28
- Codex 后台任务一夜烧光 500 美元周额度外加 75000 credits — sethlazar · 2026-10-28
- 用 $TAO 两分钟上手开源模型:Bittensor 侧链 SN53 实测体验 — markjeffrey · 2026-10-28