持续学习难在单位经济:轨迹筛选与奖励作弊的算力账
xennygrimmato_ · x · 2026-11-20
teknopawn 分析了在公司内部落地持续学习(continual learning)的难点:搭基础架构其实不难,难的是让改进循环便宜到能大规模不间断运行——这才是优势复利所在。
核心论点:把原始生产数据变成可靠训练信号需要巨量算力——要筛选数百万条 agent 轨迹、用多 agent 质量控制来捕捉坏掉的验证器和生成 RL 环境中的 reward hacking,并随生产环境漂移频繁做后训练更新。若每一步都依赖前沿模型做 judge 且训练未优化,单位经济就崩了。
解法方向:训练侧用 Echelon 这类降低成本的发现,配合轨迹与环境侧用 Edith 这类超低价决策模型,让整个循环在经济上可行。原帖引用了一个希伯来语的帖子训练实践长线程作为背景。
「Infra」频道最新
- Everpure 营收涨 51% 至 14.6 亿美元,逆闪存涨价潮下调产品价格 — BenBajarin · 2026-11-20
- Radeon R9700 本地跑 7 模型 4 引擎:vLLM 栈比 GPU 更关键 — paq85 · 2026-11-20
- 传黄仁勋考虑创办全新芯片公司,称首日即可募数百亿美元 — cuijiaxun · 2026-11-20
- AMD 官方否认做空报告,称其歪曲业务实践,股价曾暴跌 13% — BenBajarin · 2026-11-20
- eBay 出现 8000 美元 RTX Pro 6000,发帖人提醒谨防骗局 — QuanstScientist · 2026-11-20
- 华为昇腾 GPU 首批渲染视频流出,实机画面首度曝光 — GabGarrett · 2026-11-20