模型被指混同架构并污染评测集
eliebakouch · x · 2026-07-16
这条引用帖在吐槽一个“主权”基础模型的做法：
- 该模型被指与 Nemotron 3 Nano 几乎同架构，约 80% 的数据混合也相同，所谓“主权”被认为被过度包装。
- 更严重的是，作者指出他们似乎把 GPQA Diamond 这类评测集相关内容放进训练数据里。
- 帖子给出一个具体例子：他们使用的 AIML-TUDA/QA-base 数据集，和 GPQA Diamond 的题目只有很轻微改写，像是在“训练集里练评测题”。
- 作者据此质疑：模型能力差距的一大部分可能来自污染/泄题式训练，而不是更高效的训练策略。
所属事件:SOOFI 评测泄漏与基线对比争议(13 条相关)→
「模型」频道最新
- 6TB Fable 数据遭倒卖：内含小米华为等企业泄露密钥 — teortaxesTex · 2026-09-11
- AI Sextet 活动:6 模型 14 天完全免费,含 DeepSeek/Qwen/GLM — airesearch12 · 2026-09-11
- BullshitBench 榜单更新:GPT-6-Astra 领先历代 OpenAI 模型仍未及 Anthropic — scaling01 · 2026-09-11
- Agent Astra 在 GauntletBench 得 83%,成首个超人类基线的电脑操作 Agent — ducha_aiki · 2026-09-11
- Kimi K2.8 Preview 上线：性能接近 K3、1M 上下文全档开放 — teortaxesTex · 2026-09-11
- 有人想给软件工程任务建「形态分类」数据库,好按任务选模型 — StewartalsopIII · 2026-09-11