跑出 3000 条真值数据:他用本地基准发现 Qwen 失败后思考最卖力
julianharris · x · 2026-10-04
作者 julianharris 正在做数十个长时间运行的端到端应用构建(如「Build an MVP Miro Clone」),用于在不同硬件上的 AI 本地基准测试,寻找跨任务一致的行为模式(很可能是 Qwen 的模式)。
关键发现:
- 「模型在测试失败后立刻思考得最用力」——这一模式可指导进一步削减思考开销(比 Swift 等方案更进一步)
- 该方法有望结合 DPO + LoRA 做训练
- 基准测试已自动生成近 3000 条 ground truth 数据源
作者称这是「生产飞轮」:模型在生成自己的训练数据。项目与基准数据都开源在 GitHub 上。
「编程与Agent」频道最新
- ANT 上市前夜数据:Claude Code 一年反超 Cursor 和 Copilot — antgoldbloom · 2026-11-19
- 开发者向 GKE 沙箱项目提 PR:定期 checkpoint 防 agent 进度丢失 — yoimnotkesku · 2026-11-19
- AWS AgentCore Identity 支持私有 CA,Agent 可直连内网自建 IdP — AWS ML Blog · 2026-11-19
- Orchestrator Cloud Agents 结束测试正式上线 — julianweisser · 2026-11-19
- 开发者开源企业级 Agent 审计追踪模型:10 个数据模型找安全工程师挑刺 — TheHamzaShahbaz · 2026-11-19
- She 用 Claude Code 自制大头贴机:举手倒计时自动出照片条 — toolstelegraph · 2026-11-19