基准测试：一个模型标准场景 2/3，预算收紧后三战全败
ML_Felix · reddit · 2026-10-28
发布者分享了自家的 Concourse Bench v1 基准结果：八个 AI 模型执行同一个多步任务——按 brief 和预算模拟广告投放采买，与三家固定规则的卖家谈判并达成一组交易。整体分数掩盖了分场景的巨大差异：
- Sol 与 Fable：四种场景全部 3/3，表现稳定
- Terra：标准场景 2/3，但预算收紧 0/3、卖家更强硬 0/3、库存更多时仅 1/3
结论是「demo 里看着不错的模型，条件一变难就崩」，且更多选择未必有帮助。作者自曝是发布方员工，并承认每场景仅 3 次尝试、是模拟环境、被测的还包括模型周边软件等局限，向社区提问应如何对模型做压力测试。
「模型」频道最新
- 零训练登顶：577M 小模型借 PCA 填补零空间碾压 9B 音频嵌入 — JeanMichelRanu · 2026-10-28
- 阿拉伯语课程制作选型:Opus 5.5 与 Gemini 4 Argon 折扣价差 $6 — Various_Specific_623 · 2026-10-28
- 用户被 Google 全面封禁 Gemini 与 AI Studio,申诉被驳后求助无门 — immellocker · 2026-10-28
- Richard Socher 团队开源 Flint：40B 参数 2.5B 激活，Mac 本地跑编码 — altryne · 2026-10-28
- vLLM 语义路由团队联合 AMD 发布 Vela 3.0:最小 380M 零样本分类超 GPT-5-mini — vllm_project · 2026-10-28
- 误买 €104 ChatGPT 额度,6 天无人处理:用户困在 OpenAI 自动客服里 — NickTsl · 2026-10-28