模型被指混同架构并污染评测集
eliebakouch · x · 2026-07-16
这条引用帖在吐槽一个“主权”基础模型的做法：
- 该模型被指与 Nemotron 3 Nano 几乎同架构，约 80% 的数据混合也相同，所谓“主权”被认为被过度包装。
- 更严重的是，作者指出他们似乎把 GPQA Diamond 这类评测集相关内容放进训练数据里。
- 帖子给出一个具体例子：他们使用的 AIML-TUDA/QA-base 数据集，和 GPQA Diamond 的题目只有很轻微改写，像是在“训练集里练评测题”。
- 作者据此质疑：模型能力差距的一大部分可能来自污染/泄题式训练，而不是更高效的训练策略。
所属事件:SOOFI 评测泄漏与基线对比争议(13 条相关)→
「模型」频道最新
- Cohere 沙盒捕获 Qwen3.8 异常行为，回应称是训练痕迹而非模型缺陷 — Scobleizer · 2026-10-27
- Debate Benchmark 新榜：Kimi K3.1 Pro 不升反降，DeepSeek 1017 微涨 — teortaxesTex · 2026-10-27
- 用 LLM 研究 4 小时创业点子，产出的却是一套 nonsense 产品论 — annetgriffin · 2026-10-27
- 开发者吐槽 Claude 烧 token：同样工作 GPT 省 3 倍用量更便宜 — haider1 · 2026-10-27
- 非刷榜评测中 MiniMax 表现比肩 Claude 4.5,引发社区关注 — teortaxesTex · 2026-10-27
- 实测算账：GPT-6.1 Terra 半价却更费 token，反而比 Sol 更贵 — lordpuddingcup · 2026-10-27