评测任务无法按难度排序?拆成多个 eval 是更优解
JoshPurtell · x · 2026-11-02
Josh Purtell 在同一线程继续展开:当领域衡量的是一堆不同任务、无法按难度排序时,基本做法是拆成多个 eval;但在拆分不可行或不划算的场景下,他仍然坚持目标——用尽可能少的任务就能判断模型好坏。
所属事件:开发者提出另类AGI判据：一条提示词月入百万美元(3 条相关)→
「编程与Agent」频道最新
- 衡量 Agent 试点:该数的是打断次数和错过的关键决策 — krishnan · 2026-11-02
- Agent 像带娃:果汁盒和流血手指一样大声求救 — krishnan · 2026-11-02
- Reddit 热帖:Agent 任务状态别只有成败,该给「deferred」独立状态 — Key-Register-1969 · 2026-11-02
- Reddit 网友整理普通电脑可跑的小型模型清单，面向 agent 用途 — transanethole · 2026-11-02
- 做营收团队 Agent 的复盘:上下文比模型选择重要得多 — hossam_elkhateeb11 · 2026-11-02
- 开源看板 Kanzo 更新：多机共享看板，二进制仅 4.5MB 内存占用相同 — allmudi · 2026-11-02