为编程任务微调 LLM 准备后训练数据像「黑魔法」,难点全在细节
ayushthakur0 · x · 2026-10-13
Ayush Thakur 指出为编程任务微调 LLM 准备后训练数据如同黑魔法,需要考虑:测试 harness 本身(尤其无法深度配置时);经 litellm 等路由器会额外注入变换,导致用户所见与内部实际处理不一致;以及采样选择——每轮采样多少、边界如何划、每行打包多少 token 等。他询问是否有针对这一问题的系统性研究。
「编程与Agent」频道最新
- PageIndex SDK v0.4：树状索引成本首次低于向量索引，基准测试低约 15% — solyarisoftware · 2026-10-13
- 用 AI agent 写 Fortran 优化器，经济学家该摆脱 Stata 包依赖 — Apoorva__Lal · 2026-10-13
- 腾讯开源 TencentDB Agent Memory：本地运行，token 省 61%，准确率 48%→76% — solyarisoftware · 2026-10-13
- 用模拟测试 AI Agent：重放真实生产流量，50 个精选胜过千个随机 — HamelHusain · 2026-10-13
- 开发者复盘：人定方向、Agent 干活，用 Copilot 搭出新手课程 — DanWahlin · 2026-10-13
- 从 Agent 到持续工作 AGI：工程师周会讨论并整理开发实践 — dotey · 2026-10-13