Terminal-Bench 接受第三方审计，公开缺陷上报与修复流程
ajratner · x · 2026-11-11
Terminal-Bench 团队感谢 Bespoke Labs、Preference Model、Epoch AI、Tokenless、Snorkel AI 等对 Terminal-Bench 的审计工作，并鼓励社区更深入合作以判定缺陷严重性与尽快合并高质量修复。
团队同时公布了上报新任务缺陷的流程：先人工验证缺陷、评估下游影响、在 GitHub 开简洁 issue 并 @ 任务作者提问；更有积极性的贡献者可在周会汇报发现、与任务作者和维护者一起修复、并把检查项加入自动化任务 QA 工具链。
「研究」频道最新
- MKA 基准细节：头部七模型 Regression 门槛 95-97%，Climb 拉开 28%-57% 差距 — ArtificialAnlys · 2026-11-11
- MKA 基准按输出类型拆解:Word 与文本文件无一模型过 52% — ArtificialAnlys · 2026-11-11
- MKA 垂直榜单:无单一模型通吃,Claude 领跑五行业 Gemini 拿两项 — ArtificialAnlys · 2026-11-11
- 谷歌 DeepMind 发布 MKA 基准:单任务 Claude 跑 224 轮花 68 美元 — ArtificialAnlys · 2026-11-11
- DeepMind 联合 Artificial Analysis 发布 MKA 基准，Claude Fable 5.2 以 57% 登顶 — ArtificialAnlys · 2026-11-11
- 新研究: emergent misalignment 可 OOD 预测,仅微调后层可减少迁移 — AdtRaghunathan · 2026-11-11