本地小模型加代码侧门控:表格问答准确率 54% 升至 92%,零静默错误

Shoddy_Total9784 · reddit · 2026-11-16

r/LocalLLaMA 上的一组非正式 A/B 测试:在 CPU 上用 llama.cpp 跑三个本地 Qwen2.5 模型(1.5B/3B/7B GGUF),对比两种让模型处理表格问题(求和、平均、最值、过滤)的方案。

门控 v8 的结果(两组同任务、同种子、同温度,门控代码哈希锁定):

作者也坦承局限:仅覆盖表格单一领域、未同行评审、任务与 holdout 由同一团队编写、TCO 估算依赖假设电价、早期基于词表的 v7 门控在换措辞的新题上优势尽失(45.4% vs 47.2%),这也是 v8 改为校验模型命令而非请求措辞的原因。

原始记录、哈希与完整报告(MIT 许可)已公开在 Hugging Face 数据集 acik-teknik/skillpack-tests-2026-11-16,作者征求方法论批评。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →