「评测的评测」爬坡:Scale、Mercor 等十余家评测方共建元基准
ziqiao_ma · x · 2026-11-13
Ziqiao Ma 通报正在对「benchmark benchmark」(评测基准的基准)做爬山式迭代,汇聚了生态内多家评测机构:Abundant Labs、ARC Prize、LMArena、Artificial Analysis、DataCurve、Design Arena、Goodhart Labs、Surge AI、Handshake、Julius AI、MathArena、Mercor、Scale AI、Thoughtful Lab、Vals AI 等。即把各家评测榜单本身作为被评对象做元评估,属于新兴的 meta-evaluation 方向,帖子细节有限。
「研究」频道最新
- 「Idea 盆地」：智能体为何困在旧思路里，各模型探索模式大不同 — AlexGDimakis · 2026-11-13
- OpenAI 用自动化红队训练 GPT-6,越狱抵抗力大幅超越上代 — fouadmatin · 2026-11-13
- SSD 自蒸馏法省 38–69% 训练 token,精度不降且遗忘更少 — heghbalz · 2026-11-13
- Inkling 2 Small 的 Attention Residual 结构被赞"优雅" — simonguozirui · 2026-11-13
- 9B 模型加思维链无效？开发者 6 个 LoRA 实测蒸馏推理困境 — SignificantZebra5883 · 2026-11-13
- 初始权重训练后依然可读：画进模型的笑脸 survive 全程训练 — danbri · 2026-11-13