八个月迭代 ATLAS:不动权重把小模型推向接近前沿水平的编码系统

itigges22 · reddit · 2026-09-18

一位开发者分享 8 个月探索:能否通过改模型外围系统而非权重,让小模型在特定任务上逼近前沿模型,先聚焦编码(有编译、测试等可验证信号)。- V1:拼凑想法的原型,勉强可用。- V2 引入多项技术:Best-of-K 候选生成(产出多个解再择优,价值在于覆盖不同失败模式);受 Anthropic 表示几何研究启发的「Geometric Lens」——用代码嵌入和执行 pass/fail 标签训练的小神经网络成本场,代替昂贵的评估;置信度路由(按难度分配采样,V3 中被移除);PageIndex 结构化检索加模式缓存(项目上下文与历史策略两层供给)。- V3:架构改为 Go 代理统一管理工具、会话状态、权限、取消与预算,Python 管线负责候选生成与修复,推理用 llama.cpp,可扩展为通用「验证运行时」。作者逐步开源思路并附相关论文链接。