个人微调 Qwen3.8-27B:修复 low 推理反超 medium 的乱序问题
victormustar · x · 2026-10-01
开发者 bytkim 发布 Qwen3.8-27B-pi,一个专门针对 Pi 编码 agent 场景微调的 Qwen3.8-27B。起因是他发现基座模型的 effort 分级失效:low 档的推理 token 反而常比 medium 多,Terminal-Bench 2.1 上 medium 通过率甚至低于 low。
微调分两阶段:
- 用精选的成功 Pi 会话做 SFT,教完整的读仓库、改文件、跑工具流程;
- 用 GRPO 做强化学习,奖励以「任务成功 + effort 有序」为条件:同一任务上,低 effort 的推理 token 不应超过高 effort。
结果:在 Terminal-Bench 2.1、GPQA Diamond、SciCode 上,推理 token 与通过率从 low → medium → xhigh 单调递增。Terminal-Bench 上 Pi 的 medium 档以约 41% 更少输出 token 追平基座 xhigh 的通过率(67/89);SciCode 上 xhigh 档省约 23% 输出 token。已放出 BF16、FP8(30.4 GB)及 17 个 GGUF 变体(9–29 GB)。
所属事件:开发者微调 Qwen3.8-27B-pi 修复推理分级乱序(2 条相关)→
「编程与Agent」频道最新
- 团队让 Agent 自动回复 Slack,网友直呼「和所有人的幽灵版聊天」 — iamrobotbear · 2026-11-16
- AI 求职面试复盘法:让 Claude 指出你哪段回答最没说服力 — brandon_galang · 2026-11-16
- 通用 API 目录 MCP 服务器实测:3 个工具换来永不膨胀的上下文 — MandeepKaur9407 · 2026-11-16
- UC Berkeley 论文揭示 LLM「过期绑定」:新值在上下文中仍答旧值 — ombre-ai · 2026-11-16
- Effective HTML 走红 GitHub:4.2k 星的 agent 技能集,线框图秒变可交互原型 — tom_doerr · 2026-11-16
- skills-gate:一个门面 skill 管住所有 agent skills,148 个技能仅耗 389 token — Distinct-Pie2389 · 2026-11-16