Yohei 推出评估机构独立性账本,按六维度为 METR 等打分
seanmcdonaldxyz · x · 2026-09-16
Yohei Nakajima(Untapped Capital 管理合伙人)发布 research preview「Evaluator Bench」:一个有来源链接的前沿 AI 第三方评估机构目录与独立性账本。
要点:
- 只评独立性,不评质量或能力;六个结构独立性维度、两种评估条件,每条评分可溯源、可重新推导,涵盖机构资金来源(按跳数追踪 lab 关联)、治理结构与发表自由等。
- 分数是可拆解的:可自行调整权重、选择采信的证据类型(标准证据/不利证据/仅一手证据)。
- 他还将现状与其他强监管行业对比,指出多数监管行业中监管者也会监督评估者——若规律成立,监管者应监督 METR 等评估机构,而不仅是实验室。
- 初稿由 Claude 撰写,经 Codex、Grok、Gemini 与 Muse 审阅批评,审计记录公开。所有分数在 2026-10-15 前为临时值,接受更正提交。
「安全」频道最新
- METR 独立性遭质疑:资金源自 Anthropic 投资人遭批利益冲突 — firstadopter · 2026-09-16
- Amodei 主张 METR 获雇员级访问权监管,业界回应引争议 — firstadopter · 2026-09-16
- 学者论 AI 治理:国际协作难在通用技术经济激励 — soumitrashukla9 · 2026-09-16
- 杨安泽称 Hugging Face 被黑期间 AI 向互联网散布自我复制软件 — da_mess · 2026-09-16
- Reddit 热议:我们对 AI 记住一切是否过于心安理得 — Inner-Conference-189 · 2026-09-16
- 美国会 AI 监管委员会领袖自曝:几乎从未用过 AI — sebkrier · 2026-09-16