0.8B 小模型加 9 个 LoRA,agent 决策快 38 倍且更准
Usual_Maximum7673 · reddit · 2026-10-01
作者发布 Jeff-Qwen3.5-0.8B（"System 1" 小模型）并为 9 类高频 agent 决策任务（prompt injection 检测、工具选择、工单分级、答案溯源等）各训练一个 LoRA 适配器，每个约 40MB，可按需加载，基座模型保持通用能力。
核心玩法：让 Jeff+适配器先答，只在模型不确定时把查询升级给 27B 大模型（Qwen3.8-27B，8-bit）：
- 准确率 86.6% → 95.3%
- 单次决策耗时 8.1s → 0.25s（38 倍）
- 内存从 28.6GB 降至 2GB 以内（含全部 9 个适配器）
- 收件箱 agent 的五类决策：87.7% → 95.7%，快 39 倍；6/9 适配器在保留测试集上达 97-98%
- 情绪分类（27 类）上 60.6% vs 35.6%，快 42 倍；GPU 上单次决策约 30ms
方法细节：5 个适配器用合成数据训练，每行记录生成模型来源，数据经捷径检查（如答案不能靠文本长度泄露）与独立审核后才训练；每个适配器混入 10% 基座训练数据以保持通用性；"上报"阈值在独立校准集上选定。
全部开源：权重 Apache 2.0、代码 MIT、测试与校准集公开（训练数据未发布），可在浏览器直接试用 9 个适配器。注意事项：27B 关闭了逐步推理（开启则加速更明显），每任务固定 300-500 条测试行。
「编程与Agent」频道最新
- 手机上跑 Claude Code 让开发者直呼上瘾：走路都在写代码 — jdluk87 · 2026-10-01
- Runable 推出冷启动外联 Agent:自动找线索打电话发邮件全年无休 — SimplyAnnisa · 2026-10-01
- Git 核心开发者炮轰 Git 3 默认 SHA256：安全表演且多年不可用 — vmg · 2026-10-01
- 开发者实测数月：AI agent 已能驾驭复杂重构与架构演化 — dreamwieber · 2026-10-01
- 资深程序员:说 AI 建不出可维护架构是很 2023 的看法 — dreamwieber · 2026-10-01
- 经济学家:AI 改过的代码会失控,我的解法是设'AI 专属文件夹' — paulnovosad · 2026-10-01