HF 上线 typed-decisions 官方基准:2274 个开源决策模型可实时排名对比
LysandreJik · x · 2026-10-20
Hugging Face 团队宣布 LocalLLaMA 社区的 typed-decisions 数据集正式成为 Hub 官方 benchmark,提供按参数规模(<1B 到 <500B)筛选的实时排行榜。Hub 上现有 2274 个开源决策模型,该基准回答「到底该用哪个」。
- 任务为文本分类/结构化决策,含校准与概率分类标签,数据集约 3200 行,Apache-2.0 许可,合成为主。
- 当前榜首:OPENGRAPE/Jeva-9b 0.82,Darwin-27B-ZTC-v5 0.81,mlx-community 量化 gemma-4-e2b-it 0.80;150M 的小模型也拿到 0.79,甚至超过 Perplexity 官方 pplx-decider-v1.1-27b(0.75)和 vllm-sr/d3 系列(0.75)。
- 量化小模型普遍逼近大模型成绩,显示结构化决策任务上规模红利有限。
「研究」频道最新
- Conditional Program 压缩 LLM n-gram 查找表，存储省 75% 且保真度更高 — dnotitia · 2026-10-20
- 消融实验显示领域区分设计可贡献最多 3.7 分 agent 性能 — morgymcg · 2026-10-20
- 独立研究者把文档藏进冻结 72B 模型的「物理记忆卡」，SSD 存取可复现答案 — Nearby_Indication474 · 2026-10-20
- 系统性梳理 9 个前沿模型的 Vision Encoder 设计差异 — liuziwei7 · 2026-10-20
- continuous control 中 critic-only RL 势头渐起，新论文扩展 GQN 工作 — m_wulfmeier · 2026-10-20
- AIPOCH 开源 Open-Science：给 AI 研究装上可溯源审计链 — rohanpaul_ai · 2026-10-20