开源 27B 本地模型准确率追平 Jev,校准还更好
colinmcnamara · x · 2026-09-21
Colin McNamara 把同样的 1000 条人工标注题目跑在自有 GPU 上的开源 27B 模型上,与决策模型 Jev 对比:准确率接近(相差 1.4 个点以内),情感任务上开源模型校准误差 0.04,优于 Jev 的 0.09,但速度上 Jev 快 1.8 到 4.5 倍。
所属事件:实测 Jev:选择题加「以上都不对」,开源 27B 追平表现(2 条相关)→
「模型」频道最新
- 260 万美元 RL 就近 SOTA:数据成本会否超过训练成本? — my_cat_can_code · 2026-09-21
- 模仿人类社交节奏：humansand 发布 Persimmon 模型与 Trickle Test — niloofar_mire · 2026-09-21
- 为什么让 LLM 回「是/否」更快：输出 token 越少越快 — tinyfool · 2026-09-21
- 曝 ChatGPT 免费用户获无限文本对话,默认模型同步升级 — nikola_mr64990 · 2026-09-21
- 用户吐槽 Astra 太贵太耗 token,盼 GPT-6 降本 — CtrlAltDwayne · 2026-09-21
- TypeSafe JEV 模型全量开放:每人 5 美元免费额度,秒级搭 3D 场景 — tinyfool · 2026-09-21