模型评测别只看中位数，尾部可靠性才决定成败
eugeneyan · x · 2026-07-23
这条帖子的核心观点是：评测模型不能只盯中位任务，真实项目往往由尾部任务决定成败。
- 人们常把模型能力放在“平均情况”上比较，但项目交付更受长尾难题影响。
- 对生产场景来说，关键不只是跑得快，而是是否足够谨慎、可靠。
- 作者主张把模型当作“协作者”而不是单纯工具：先讲清意图和成功标准，再让模型自己研究、反驳、定义规格、执行和验证，人类在旁边持续观察与引导。
- 配图用分布图说明：中位任务只是锚点，真正决定项目的是右侧长尾；能稳定处理尾部任务的模型，才更可能把项目做成。
「漫话AGI」频道最新
- Replit CEO 长文：Agent 将催生「自动驾驶公司」,2030 每家公司都自驱动 — amasad · 2026-10-27
- 美参议员炮轰 AI 行业：50 人死亡才算灾难性事故？ — peterwildeford · 2026-10-27
- Replit CEO 称 AI 让软件事实上开源，Aakash Gupta 复盘还剩哪些护城河 — aakashgupta · 2026-10-27
- 读懂AI意识之争:先分清对方站在哪种立场 — msharmas · 2026-10-27
- 功能主义视角：意识只是大脑的计算，硅片复现同样功能即得同样结果 — msharmas · 2026-10-27
- iPhone 新壳狂揽 8.5 万条评价：丰饶时代的万物皆假 — tekbog · 2026-10-27