5个便宜开源模型投票替代 Opus:准确率89.6%成本仅1/10
PomegranateAble4339 · reddit · 2026-10-31
Reddit 用户实测用 5 个廉价开源模型组成投票面板,替代前沿模型处理是/否与标签分类类任务(spam、欺诈、审核、分诊)。
方法:同一问题问 5 个模型(DeepSeek V4.1 Flash、GLM 5.3 Flash、MiMo V2.6 Flash、Qwen3.8 Flash、Gemma 4 26B-A4B),全部一致就直接出货,不一致则转人工并附一句话分歧理由。
结果(2850 个决策、6 个公开数据集,对照 Opus 5.5):
- 面板在 71% 的项目上达成一致并自动出货,这部分准确率 89.6%,Opus 在同等置信区间的 71% 上为 90.5%,几乎打平
- 每千次决策成本 $0.61 vs $5.79,约为 1/10
- 整体准确率略逊:80.1% vs 83.1%,面板只在有信心的场景占优
失效场景:长答案对比、77 类意图分类等难题投票救不了;仇恨言论检测召回更高(80% vs 62%)但误报也更高;面板相对最佳单模型(GLM 5.3 Flash,88.9%)的提升在噪声范围内——真正的收益是知道何时转人工。作者也提示面板是事后补测,尚未在新样本上复验。兼容 OpenAI API,Ollama/vLLM/llama.cpp 均可用,代码 MIT 开源(modeljury)。
「Infra」频道最新
- 马斯克畅想月球电磁弹射建算力：冲向 Petawatt 时代 — XFreeze · 2026-10-31
- 美国能源部首批商用微型核反应堆安全审查通过,Radiant 获准满功率测试 — McDonaghMatthew · 2026-10-31
- 实测：推理引擎的有损加速默认项，让 Q8 模型掉到 Q2 水平 — jesdga95 · 2026-10-31
- 开发者晒出惊人缓存命中率：推理成本直接砍到脚踝 — sujingshen · 2026-10-31
- 算力计费错了吗？长文论证焦耳才是唯一与底层无关的计算分母 — tctjr · 2026-10-31
- 为了跑 AI 拼了：极客自述在家攒 1TB 内存，晒出三机分层推理架构 — gnukeith · 2026-10-31