自托管实测:Unsloth Q8 量化版大幅优于默认 Q3,连夜跑完 331 份账单分析

No_Cartographer3953 · reddit · 2026-11-16

楼主用一套「本地模型 + 隐私财务数据」的现实任务横评了几个小模型:331 份银行/信用卡/房贷/券商/退休账户 PDF 账单,要求提取数据、做会计对账并产出带洞察的前端页面,harness 为 PI。

结果:

楼主认为这是本地模型的理想测试:财务数据不适合上云,PDF 版式混乱(重复数据 vs 交易明细难以区分),还要处理会计逻辑(一个账户的贷记是另一账户的借记)。各模型方案各异,有的用 JSON、有的用 sqlite,普遍依赖 pdfplumber。结论很直接:量化档位(Q8 vs Q3)对复杂 agent 任务影响巨大。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →