SolarBench：面向工业运维的Agent基准
ycombinator · x · 2026-07-19
Maingen 在工业运维场景上做了一个新的评测基准 SolarBench，目标是补齐传统 benchmark 很少覆盖的“真实工业操作”任务。
帖子强调，工业运维约占美国经济中的 5T 级别，但需要领域知识，所以过去的 benchmark 覆盖不足。作者和合作者花了大量时间跟太阳能运营人员在现场工作，把他们日常流程翻译成一个给 agent 用的“operations desk”。
SolarBench 会让 agent 跑完一个“为期一周”的值班流程，重点考察：
- 冲突告警的分诊
- 多步骤库存规划
- 按期望收益做维护决策
这是一个更贴近真实工作流的工业 agent 评测，而不是普通静态题库。
「研究」频道最新
- Kolab 基准：真人屏幕录像揭示 AI Agent 高估自身协作质量 — minnesotanlp · 2026-10-27
- 一个样本就能刷过公平性基准，EMNLP 论文质疑 BBQ 可信度 — radamihalcea · 2026-10-27
- 一段手机视频生成2000条机器人演示,Real2Sem2Real媲美150条遥操数据 — Scobleizer · 2026-10-27
- 从权重范数几何理解MuonH:尺度不变网络中梯度垂直于权重 — jasondeanlee · 2026-10-27
- 用 Sail 等价性证明与 riscv-coq 交叉验证 RISC-V 规范,发现真实 bug — xennygrimmato_ · 2026-10-27
- Kokotajlo 质疑 CoT 监控性评测:如果模型不拒绝篡改思维链呢 — dfrsrchtwts · 2026-10-27