模型饱和度数据并不可靠:harness 与部署方式都在污染结论
matt_slotnick · x · 2026-10-19
作者指出,厂商宣称的"能力饱和"数据来自自家产品、自家客户样本,包含其 harness 和部署模式,是有偏样本。而过度设计的 harness 反而会损害模型能力表现。另外,"开发者流量"也不等于实际产出或价值。把模型能力与解决方案捆绑售卖,让外界很难获得干净的可比数据。
「模型」频道最新
- 用户吐槽 Gemini Argon 额度过紧:做 10 页幻灯片即触顶 — zizo999 · 2026-10-20
- 博主喊话:把各工具和订阅里的 token 额度用光,好日子不会一直有 — gethackteam · 2026-10-20
- DeepSeek V4.1 Flash 1017 发布:智能指数升至 45,并列开源第二 — ArtificialAnlys · 2026-10-20
- 网友质疑中国实验室效率优势论:若真高效为何总落后前沿 — kuza55 · 2026-10-20
- Meta 新模型 Muse Wonder Full 登 WebDev Arena 第 6,挤进 lab 前三 — alexandr_wang · 2026-10-20
- 加 --math 旗标后 Indra OCR 反超腾讯 HunyuanOCR,逼近 DeepSeek OCR 2 — VikParuchuri · 2026-10-20