开发者自建本地智能体 Secret Agent Bubbles：白天干活晚上自我强化
cephaloform · x · 2026-08-26
作者 cephaloform 分享了自己第一个本地智能体「Secret Agent Bubbles」的完整设计，刻意不看他人实现、从零摸索。
- 白天：基于 Qwen 的智能体通过 Discord 接任务、调用工具完成工作。
- 晚上：Qwen 转做奖励模型，对 10 条消息窗口的任务片段扩展并给出子任务、长度与奖励估计。
- 价值模型：另一个智能体基于按日期与相关性加权的 embedding 记忆预测奖励与轮数，预测误差作为策略梯度的 advantage；价值模型的预测本身也被当作训练序列，预测越准奖励越高。
- 互理解奖励：对约 30% 的 rollout 额外检查用户与智能体的双向理解程度，与任务 advantage 平均。
- 训练用 OAPL 算法（batch 64），加小的模仿损失构建隐式世界模型（类似 ECHO）。
所属事件:开发者自建本地智能体：白天干活晚上自我强化(2 条相关)→
「编程与Agent」频道最新
- ComfyUI 多视频生成工作流：自动测速 Minimax H3 — GeroldMeisinger · 2026-08-26
- 实测 IBM Granite 3B 模型在 Agent 任务中表现超预期 — D3VAUX · 2026-08-26
- OpenClaw 支持多 Agent 并发操控，人机同步操作 — soumitrashukla9 · 2026-08-26
- AI 短剧全流程 Skill：小说转投产包 — aigclink · 2026-08-26
- Agent 跨步骤恢复会话时，你的成本统计可能多了 N 倍 — donk8r · 2026-08-26
- Runway 推出 MCP：在 Claude、ChatGPT、Cursor 里直接生成视频 — tlakomy · 2026-08-26