LightOn 开源 2B 语义搜索模型，助 Claude Code 省 34% token
lmoroney · x · 2026-10-13
编码 agent 的 token 账单里有相当一部分花在「找到对的文件」上。LightOn 实测了这一开销，并发布开源小模型 ColGrep-Agent-2B（本地运行，约 2.5 GB 下载）接管代码搜索任务。
- 工作方式：模型坐在编码 agent 与代码库之间，用 ColGrep 语义代码搜索提问、读取候选文件、跟进引用，返回文件路径、行号范围和代码。
- 实测数据：接入 Claude Code，在 13 个仓库、52 个代码搜索问题上各跑 3 次：API token 比 grep 少用 34%，考虑缓存的成本降 40%。节省随仓库变大而增加：5 万行以下省 19%，15 万–60 万行省 40%。
- 代价坦诚：单题更慢（21.6s vs 13.0s），准确率 80.8% vs grep 的 83.3%，但作者指出该差距置信区间很宽，可能只是噪声。
- 训练配方：2B 基座 + 短监督冷启动 + GRPO 强化学习，奖励由文件级和行级 F1 构成，值得研究。
作者建议：在大仓库用编码 agent 的开发者，挑十个真实问题，分别用纯 grep 和本地搜索助手跑一遍，自己对比 token 和答案质量。
所属事件:LightOn 开源 ColGrep-Agent-2B：本地小模型替 Claude Code 省 34% token(21 条相关)→
「编程与Agent」频道最新
- Muse Wonder 高级工程师基准仅得 42%，落后 Sol 6.1 的 71% 近 30 个百分点 — danshipper · 2026-10-13
- Alexandr Wang 承认 Muse Wonder 未用 3D 游戏演示训练，坚称是真实编码利器 — alexandr_wang · 2026-10-13
- Sentry CEO 谈逆向工程与版权：转卖复刻实现必遭维权，LLM clean-room 论证站不住 — zeeg · 2026-10-13
- 开发者用 13 美元电路板配 Codex 与 GPT Live 搭 DIY 语音装置 — OpenAIDevs · 2026-10-13
- 开发者晒透明屏笔记本跑 opencode：这辈子不再买 MacBook Pro — KevinNaughtonJr · 2026-10-13
- 对抗自动化洪流要靠「反制 Agent」：没人准备好迎接AI带来的需求海啸 — robleclerc · 2026-10-13