4060Ti 16GB 跑 Qwen 27B 极限量化,独立完成整条特性分支

o0genesis0o · reddit · 2026-08-25

作者让 Unsloth 的 Qwen 3.8 27B IQ3KXXS 量化版(去掉 mmproj 与 MTP 后可完整放进 4060Ti 16GB,近 100k Q8 上下文,约 800tk/s prefill、20tk/s decode)第一次承担真正的编码任务,并合并了首个完全由它编写的功能分支。

工作流是:作者给出功能描述和大致代码位置 → agent 自行调查代码库与架构决策记录(ADR)并给出带论证的实现计划 → 交互式打磨计划 → 批准后写 ADR → 全自主编码直到通过所有 QA 门禁 → 人工终审后才允许提交。任务从 12:00 开始,12:20 放权,13:00 完成,全程经历 3 次 compaction,仅少数几次文本编辑失败,且每轮持续发起并行工具调用,能在同一文件多处同时编辑成功,13:10 完成人工审查合并。

作者感慨量化与训练进步之快:此前 GPT-OSS 20B 跑多 agent 共享文件编辑几乎必然失败,Qwen 30B-A3B 在 Aider 里也改不对代码;如今一个 IQ3XXS 的 27B 竟然能规划、并行调工具、正确编辑,说明「本地跑 agent」已不再是大显存玩家的专利。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →