本地小模型加代码侧门控:表格问答准确率 54% 升至 92%,零静默错误
Shoddy_Total9784 · reddit · 2026-11-16
r/LocalLLaMA 上的一组非正式 A/B 测试:在 CPU 上用 llama.cpp 跑三个本地 Qwen2.5 模型(1.5B/3B/7B GGUF),对比两种让模型处理表格问题(求和、平均、最值、过滤)的方案。
- A 组:模型直接写 Python 并执行。
- B 组:模型输出一个极简命令 DSL,代码解析后由"门控"对照目录校验命令,再由确定性运行器计算结果——目录外请求会被拒绝并给出理由,思路是"代码负责计算,模型负责解释"。
门控 v8 的结果(两组同任务、同种子、同温度,门控代码哈希锁定):
- 总体准确率:A 54.0% vs B 92.4%(396 题中 366 对)
- 全新 holdout 集:A 49.1% vs B 83.3%
- 静默错误(错数且无警告):A 51 个 vs B 0 个
- Token 消耗 −68%,等效 API 成本 −74%
作者也坦承局限:仅覆盖表格单一领域、未同行评审、任务与 holdout 由同一团队编写、TCO 估算依赖假设电价、早期基于词表的 v7 门控在换措辞的新题上优势尽失(45.4% vs 47.2%),这也是 v8 改为校验模型命令而非请求措辞的原因。
原始记录、哈希与完整报告(MIT 许可)已公开在 Hugging Face 数据集 acik-teknik/skillpack-tests-2026-11-16,作者征求方法论批评。
「编程与Agent」频道最新
- 推文调侃:用了 Claude 之后基本不再看目录结构 — prasenx · 2026-11-16
- 博主用腾讯 Hy4 flash 一小时做出马斯克全访谈站,开源两个 Skill — vista8 · 2026-11-16
- VibePrevisBench:242 项任务评测编码智能体的 Blender 4D 场景生成 — Kling-Keye · 2026-11-16
- raylib 作者怒斥 AI 生成 issue:再用 AI 回复就拉黑 — yacineMTB · 2026-11-16
- 开发者开源本地 Apple Health MCP 服务器,让 AI 代理读取健身数据并回写训练计划 — PrinzPwnage · 2026-11-16
- 两个编程 Agent 用 3 美元 Arduino 破解 1994 吉普发动机电脑并接管控制 — LeviTurk · 2026-11-16