Gemini CLI 增加议题分流评测框架与并行判分器
chadd28 · ghdev · 2026-07-25
为 google-gemini/gemini-cli 的 Caretaker Agent 议题分流管线补上了一套完整评测基础设施：
- 并行基准跑器：用 ThreadPoolExecutor + 隔离的 Git worktree 跑 golden issue 测试集，避免并发 checkout 互相干扰。
- LLM-as-a-Judge：通过 Gemini API，按 4 个维度、每项 0–2 分的 rubric，把预测出来的 Workable Specs 和 ground-truth Golden Specs 对比打分。
- 数据流与报告：从 Firestore 流式读取测试样本，通过 GitHub REST API 解析目标 commit SHA，并在 results/ 下输出结构化 JSON / Markdown 评分卡。
这条更像是 编码 Agent 评测工程 的具体实现，而不是单纯的功能说明。
「编程与Agent」频道最新
- 工程师身份危机蔓延:多智能体系统正在重定义软件工程问题 — rakyll · 2026-10-26
- 零基础学员经 AI 辅导也能跑通完整 CI/CD 流水线 — curious_vii · 2026-10-26
- Ruff 作者感叹:前沿模型能在任何软件里找到无穷多 bug — charliermarsh · 2026-10-26
- 开发者实测同一 skill 跨 Opus 5.5 与 Sol 6.1:指令遵循表现参差 — lucasmeijer · 2026-10-26
- 用小开源模型逆向工程游戏二进制:主 agent 中途重写子 agent 的 harness — yb2698 · 2026-10-26
- ContractSim：首个评估 LLM 自然语言合同谈判的框架 — xuanalogue · 2026-10-26