开发者用 25M tokens 合成数据 LoRA 微调 Qwen3.5 4B,复刻 Jev
nato_nob · reddit · 2026-09-21
作者周末复刻了一个类似 Jev 的模型:用公开数据集加合成数据对 Qwen3.5 4B 做 LoRA 微调。
做法与结果
- 合成数据由 DeepSeek V4.1 Flash 生成,约 2500 万 tokens。
- 在租用的 RTX 3090 上训练约 2 小时。
- typed-decisions 基准从基座的 0.596 提升至 0.709;距真正的 Jev 仍有差距,但明显强于基座。
全部开源:模型权重、合成数据集及 Jev 兼容 API 端点均已公开(GitHub: n4ze3m/hmm;HF: n4ze3m/Qwen3.5-4B-Hmm),可直接部署试用。
「编程与Agent」频道最新
- 美联航将禁止个人AI代理代客预订机票 — Polymarket · 2026-11-12
- Agentic Search 图解:4 次搜索的循环成本约为单次搜索的 5 倍 — adnan_hashmi · 2026-11-12
- AWS 自曝:AWS Emulator 每行代码均由自主 AI Agent 编写 — SumitGup · 2026-11-12
- freeCodeCamp 上线 2 小时 Codex 智能体编码免费课 — adnan_hashmi · 2026-11-12
- 被严重低估的资源:跨模型跨厂商的工具调用可靠性实测 — ricklamers · 2026-11-12
- 整理 5.5 万数据点的教训:企业级 Agent 数据准备远比想象更难 — BenBajarin · 2026-11-12