自托管实测:Unsloth Q8 量化版大幅优于默认 Q3,连夜跑完 331 份账单分析
No_Cartographer3953 · reddit · 2026-11-16
楼主用一套「本地模型 + 隐私财务数据」的现实任务横评了几个小模型:331 份银行/信用卡/房贷/券商/退休账户 PDF 账单,要求提取数据、做会计对账并产出带洞察的前端页面,harness 为 PI。
结果:
- Qwen FN Q3:前端尚可,但 PDF 数据提取全错,分析肤浅。
- Orca nano-1:仅 2 小时完成,速度/体积表现不错,数据大体正确但有明显错误,前端缺洞察。
- Maya-S24:失败——PDF 解析/校验阶段卡死 10+ 小时后放弃。
- Qwen FN Unsloth Q8:约 8 小时通宵跑完,数据全部准确,最终前端美观且洞察丰富,表现令人惊艳。
楼主认为这是本地模型的理想测试:财务数据不适合上云,PDF 版式混乱(重复数据 vs 交易明细难以区分),还要处理会计逻辑(一个账户的贷记是另一账户的借记)。各模型方案各异,有的用 JSON、有的用 sqlite,普遍依赖 pdfplumber。结论很直接:量化档位(Q8 vs Q3)对复杂 agent 任务影响巨大。
「编程与Agent」频道最新
- 通用 API 目录 MCP 服务器实测:3 个工具换来永不膨胀的上下文 — MandeepKaur9407 · 2026-11-16
- UC Berkeley 论文揭示 LLM「过期绑定」:新值在上下文中仍答旧值 — ombre-ai · 2026-11-16
- Effective HTML 走红 GitHub:4.2k 星的 agent 技能集,线框图秒变可交互原型 — tom_doerr · 2026-11-16
- skills-gate:一个门面 skill 管住所有 agent skills,148 个技能仅耗 389 token — Distinct-Pie2389 · 2026-11-16
- 开源 Karpo-Decision-31B 单次前向出概率,登顶 Decision Index 超越 Gemini — CodeByPoonam · 2026-11-16
- shadcn 转评 UI 生成工具:一周工作量一键复现且可直接跑 AI 测试 — shadcn · 2026-11-16