自建「准饱和基准」：一套追踪模型边界的个人测试法
bendee983 · x · 2026-11-10
bendee983 提出一套追踪 AI 进步的个人方法论，回应 levie「每 3-6 个月复查 AI 能力」的观点：
- 维护一组当前模型几乎能做但需大量引导和脚手架的任务，每次新模型发布就测一次无辅助完成度，以此感知前沿能力。
- 任务被前沿模型轻松解决后不要丢弃基准，而是改写成更难的版本继续测前沿。
- 同时把饱和的旧基准拿去测非前沿的廉价模型，看能推到多远——他称你会惊讶于每百万输出 token 不到 1 美元的 Flash 级开源模型（如 DeepSeek-v4.1 Flash、GLM-5.3 Flash 等）实际能完成多少工作。
核心结论：用「准饱和基准」这一把尺子同时量出前沿能力边界与廉价模型的规模化可用性。
「漫话AGI」频道最新
- iamtrask 补充:「AI 置换工作」式起飞远慢于「一天被黑完」 — iamtrask · 2026-11-10
- iamtrask 辩「经济 FOOM」:AI 抢工作的回报临界点存疑 — iamtrask · 2026-11-10
- AI 圈热议:99%的人完全无法外推技术进步的轨迹 — daniel_mac8 · 2026-11-10
- A/B 测试只能优化脚下的山,Ronny Kohavi 提醒先问方向对不对 — richardreis · 2026-11-10
- Gary Marcus 称 OpenAI 与 Anthropic token 用量近两周下滑，比 Jensen 丑闻影响更大 — GaryMarcus · 2026-11-10
- 对抗「AI 精神病」的最好办法：始终做一个受真实数据约束的技术副业 — shakoistsLog · 2026-11-10