后台大模型只在失手时介入,影子点拨能省下大量成本
dotey · x · 2026-07-21
- 这条帖提出一种叫 shadow steering(影子点拨) 的工作流:平时让便宜的小模型干活,更聪明的大模型只在后台待命,几乎不输出,只维持一个可复用的 prefill KV 状态。
- 当框架检测到小模型质量下滑、任务快要做不下去时,大模型才短暂介入,给出一小段关键指导,让小模型继续往下跑。
- 作者认为,这种方式可以用于 降低中等模型成本、做蒸馏、做测试、以及 采集长程任务质量信号;因为点拨发生在轨迹内部,属于更自然的 on-policy 干预。
- 帖子最后还基于这则“新闻”做了推测:DeepSeek 下一代模型可能已经训练完成,正在影子测试,用户感受到的是它的智力提升而非正式发布。
「编程与Agent」频道最新
- Spring AI 2.1.0-RC1 发布:工具调用可设人工确认门槛,Agent 触数据前先暂停 — therealdanvega · 2026-10-26
- 柏林 DevDay 前夜黑客松 250 名开发者齐聚用 Codex 造物 — paw_lean · 2026-10-26
- 开发者吐槽:脱离 harness 的 API 模型「裸奔」时笨得让人想哭 — madeofAjala · 2026-10-26
- HarnessMM 论文:缓存已定决策,Agent Token 消耗降 88% 成功率反升 — omarsar0 · 2026-10-26
- 微软展示用 Copilot App 与 Foundry 搭建跨 Teams/Outlook 的意图识别 Agent — marlene_zw · 2026-10-26
- 求推荐可穿戴录音麦克风:要长续航,接自己转写和 MCP — altryne · 2026-10-26