作者开源 Benchmark Heaven:按单任务真实成本对比模型,揭定价假象
airesearch12 · x · 2026-09-18
开发者 airesearch12 推出免费开源项目 Benchmark Heaven,核心观点是「每百万 token 单价是个谎言」:一个单价更便宜但思考时间翻倍的模型,实际并不更省钱。该项目按「每个真实任务的成本」对比模型,计入输入/输出 token、推理消耗、缓存,并支持按厂商筛选。作者还给出测算结论:GLM-5.3 相比 Gemini 3.8 Flash 其实更「刷榜」。项目为免费开源的兴趣之作,旨在帮用户选到真正性价比高的模型。
所属事件:Benchmark Heaven 开源上线：聚合 800 模型跑分与真实任务成本(12 条相关)→
「模型」频道最新
- 同一个任务两种「质感」：RL 过拟合模型与通用智能的手感差异 — theteknosaur · 2026-11-02
- LightOnOCR-3 发布：单一模型搞定转录、版面与图表解析 — IgorCarron · 2026-11-02
- NVIDIA Kumo 家族拆解：四款表格基础模型各管一类结构化数据 — pandeyparul · 2026-11-02
- SemiAnalysis：选模型别忽视安全分类器，Meta 网络安全模型居首 — ThomasScialom · 2026-11-02
- Reddit 用户盛赞 DeepSeek V4.1 Flash 1017：快、稳、便宜到可弃闭源模型 — _bachrc · 2026-11-02
- 本地量化模型对决 Claude：9 个真实 bug 修复实测，量化掉分更掉时间 — FeydRowan · 2026-11-02