Agent 循环形似无梯度 SGD：234 次实验把推理耗时从 3.7ms 压到 2.32ms
jiayq · x · 2026-10-31
作者分享用 agent 自动优化 DeepSeek 推理性能的观察：一夜之间将每步耗时降到 2.32ms，低于人工预估的 2.5ms 下限（基线 vLLM TP8 为 5.654ms）。他把 agent 循环类比为「没有梯度的随机梯度下降」，并给出多条实证观察：
- 收益呈指数衰减而非厚尾分布；agent 会先抓容易的改进，后期提升逐渐变缓
- 实验接受率初期很高，随后稳定在约 46%（108/234）
- 收敛行为一致，agent 并未「江郎才尽」
- 难点在于多个 agent 上的离散优化：无坐标、无梯度、landscape 不固定，本质是「采样-接受/拒绝-重采样」循环
- 他猜测 Kalman 滤波、拒绝采样或数据驱动的 MCMC 类算法可能是方向，但确切数学尚不清楚
作者认为这是工程与研究结合的方向，期待更大规模实验。
「Infra」频道最新
- 低成本双卡 3060 12GB 本地推理方案:显存性价比压过贵一倍的 5060 — Frizzy-MacDrizzle · 2026-10-31
- 分析师：英伟达企业与新云客户收入增速 138.5%，有望 2-6 个季度内赶超超大规模云厂 — Beth_Kindig · 2026-10-31
- 分析师：Nvidia 企业/新云业务 2-6 个季度内或超超大规模云厂 — Beth_Kindig · 2026-10-31
- 249GB 无审查 DeepSeek V4.1 Flash 跑上 Colab,速度超 118 tok/s — Healthy_Essay3388 · 2026-10-31
- 西门子 EDA 用 NVIDIA NeMo Gym 优化芯片设计 Agent,评分 55%→95% — NVIDIAAI · 2026-10-31
- 欧盟 AI 能源面临双重时钟:电网灵活性管当下,核聚变仍是远期研发 — ingliguori · 2026-10-31