METR 获更多模型访问权,独立评估生态之争全面展开
METR 获得更多前沿模型访问权限,并将就评估事宜咨询第三方独立评估机构。这一消息在 AI 圈引发广泛讨论:多数评论者欢迎评估生态扩容,但普遍警告不应让 METR 或任何单一机构成为前沿模型评估的唯一权威;另有观点从资金、资质、激励结构乃至「自愿开放是否等于监管」等多个角度展开争论。
已确认
- METR 获得更多模型访问权限,第三方独立评估者将被纳入咨询
- Dean Ball 认可 METR 是优秀机构,但仅靠它远远不够,需要多样化、大规模、技术能力强且独立的评估机构生态;他指出 METR 脱胎于相对单一的思想圈层,圈外人士参与会让生态受益,并预测很快会有一波针对 METR 的抹黑行动,称攻击现有少数可信评估机构的并非真正想建立独立评估生态的人
- deepfates 和 dioscuri 以戏谑语气(大写字母梗)表达类似担忧:方向是好事,但评估者来自高度同质化的圈子大概是坏事
- Sriram Krishnan 提出应建立分布式的独立评估者生态,参与的「眼睛」越多、技能背景越分散越好,建议资助多个评估项目;Ben Fielding 呼应称单一评估者或单一意识形态的评估体系是权力积累的单点故障,评估应开放多元
- Anthropic 的 Logan Graham 发帖呼吁「让一千个 METR 绽放」,鼓励有创始人气质、对 AI 安全感兴趣的人创办独立审计/评估机构,并表示愿意提供建议、人脉甚至资金支持
- 评估从业者 antondleicht 长文回应称,当前前沿风险评估生态源自很小的早期社区,现有机构只是「最早看清方向」的一小批人,生态扩张应引入多元资金与视角,不应排外
- wsisaac 针对「内嵌评估员」提出反制路线:建立广泛且资金充足的独立评估生态,配专业实践标准,并开发技术基础设施让严格第三方评估成为可能
- 前沿实验室方面出现自荐与质疑的交锋:Stanford NLP 的 Christopher Manning 提议由大学(尤其 Stanford NLP)承担独立第三方评估角色,认为高校有独特优势;普林斯顿 NLP 组负责人等同行对此表示质疑
- 围绕学术界的适配性出现争论:Nathan Lambert 认为学者激励结构是发现和公开分享新知识,与掌握私有信息的工作不匹配,学术机构不适合作独立评估方;Dylan Hadfield-Menell 反驳称,尽管存在分享限制,学者能直接在私有模型和数据上跑评测本身就是明确收益,多类独立评估者各有优劣
- robertskmiles 表达另一方向的担忧:随着 AI 安全评测成为热门赛道,可能涌现十几个并不真正懂行的「半吊子」新评测机构输出安全结论
- 前OpenAI 联合创始人苏晨庄(Su Sheng)持强烈怀疑态度:各前沿实验室就单一「第三方安全评估机构」达成一致的概率接近零——真正能做前沿评测而非包装旧评测的机构几乎不存在,不被现有实验室利益捆绑的评估方也难寻
- 业内人士 evijit 指出评估生态远比公众看到的宽:许多实力雄厚的机构在严格 NDA 下运作,无法公开其对系统卡和模型评估的贡献;他认为仅靠自愿承诺不够,需要监管托底
- 批评方(theayaibrahim 转发)质疑 Anthropic 提出的「第三方评估者」并非政府监管者,自愿承诺不能替代强制监管
- tenobrus 提议 Prime Intellect 牵头做独立第三方模型评测,并 @ 多人询问合作意向
尚未确认
- Dean Ball 关于「即将出现针对 METR 的抹黑行动」的说法属于预测,尚无实际事件佐证
- Manning 的大学评估方案、Prime Intellect 牵头评测等提议均停留在倡议阶段,未有落地进展
为什么重要
- 前沿模型的安全评估直接影响监管与公众信任,评估权集中于背景相近的少数机构可能带来系统性偏差与单点风险
- 这场讨论揭示独立评估生态面临的多重现实约束:合格人才稀缺(robertskmiles、苏晨庄)、激励机制错配(Lambert)、实验室利益捆绑、保密协议限制(evijit),以及自愿承诺与强制监管之间的根本张力
- Logan Graham 等表态显示头部实验室和业内人士愿意投入资源培育评估生态,「让一千个 METR 绽放」或将成为下一阶段 AI 治理的关键变量
2026-09-13 ~ 2026-09-14 · 33 条相关
一手来源
- Dean Ball:METR 优秀但不够,需多元独立 AI 评估生态 — deanwball ·
- Dean Ball:METR 出身单一思想圈,评估生态需要更多外部视角 — deanwball ·
- 评估生态远不止 METR:大量机构因 NDA 无法公开工作,呼吁监管托底 — evijit ·
- 【源头】评估生态远不止 METR:大量机构因 NDA 无法公开工作,呼吁监管托底 — evijit · 2026-09-13
- AI 评估机制引争论:单一评估者是权力集中的单点故障 — benfielding · 2026-09-13
- 第三方 AI 评估成创业机会:有人愿意出钱出人脉支持 — EricBuess · 2026-09-13
- Sriram Krishnan 呼吁资助多元独立 AI 评估者生态 — _sholtodouglas · 2026-09-13
- wsisaac:与其内嵌评估员,不如建资金充足的独立评估生态 — typewriters · 2026-09-13
- 独立 AI 风险评估生态扩张在即:该引入多元资金与视角,别搞排外 — sebkrier · 2026-09-13
- 前沿 AI 审计需要多元参与者,但 EA/rat 社区的长期积累不容忽视 — JacquesThibs · 2026-09-13
- 关于前沿 AI 审计多样性之争:圈内人回怼外部旁观者 — JacquesThibs · 2026-09-13
- 业界热议独立评估生态,Sriram 倡议资助多方评估力量 — dhadfieldmenell · 2026-09-13
- 「让一千个 METR 绽放」:AI 安全圈内呼吁创办更多独立评测审计机构 — joecole · 2026-09-13
- Manning 提议 Stanford NLP 担任 AI 对齐独立第三方评估方 — chrmanning · 2026-09-13
- 十obo提议 Prime Intellect 牵头做独立第三方模型评测 — tenobrus · 2026-09-13
- Chris Manning 提名 Stanford NLP 出任 Dario 第三方审计方案评估方 — chrmanning · 2026-09-13
- 学者提议斯坦福 NLP 担任 Dario 三步计划中的独立第三方评估方 — chrmanning · 2026-09-13
- Chris Manning 提议 Stanford NLP 担任 AI 独立第三方评估机构 — coallaoh · 2026-09-13
- 苏晨庄:几乎不可能出现合格且独立的第三方安全评估方 — suchenzang · 2026-09-13
- 前 OpenAI 安全研究员:三家条件卡死第三方前沿模型评估机构 — basedjensen · 2026-09-13
- 前 OpenAI 研究员断言:三大实验室不可能就第三方安全评估达成一致 — suchenzang · 2026-09-13
- deepfates 调侃 METR 获更多访问权,但评估者圈子太单一 — deepfates · 2026-09-13
- OpenAI 安全负责人:独立审计团队亟需吸纳安全之外的多元专家 — Dr_Atoosa · 2026-09-13
- 研究者担忧涌现大批「外行」AI 安全评测机构 — birchlse · 2026-09-13
- METR 获更多评估权限,业内仍忧单一评估方形成小圈子 — dioscuri · 2026-09-13
- 有人提议用预测市场替代第三方安全评估,以金钱激励揭穿失准 — roydanroy · 2026-09-13
- Dean Ball 预警:METR 将成抹黑目标,独立审计生态受威胁 — deanwball · 2026-09-13
- 【源头】Dean Ball:METR 优秀但不够,需多元独立 AI 评估生态 — deanwball · 2026-09-13
- Stanford NLP 毛遂自荐任 AI 第三方评估者,遭同行质疑 — arvindsatya1 · 2026-09-13
- Nat Lambert:学术界不适合作 AI 独立评估者 — natolambert · 2026-09-13
- 研究员赌局:实验室难就统一第三方安全评估方达成一致 — NathanpmYoung · 2026-09-13
- 学者反驳:让学术界做模型独立评估其实收益明确 — dhadfieldmenell · 2026-09-13
- Anthropic「自愿开放第三方评估」遭质疑:这不算真正的监管 — ambaonadventure · 2026-09-13
- 【源头】Dean Ball:METR 出身单一思想圈,评估生态需要更多外部视角 — deanwball · 2026-09-13
- METR 不该独大:业内列出一长串独立 AI 评估机构名单 — RebeccaBellan · 2026-09-13
- Delip Rao 质疑 Stanford NLP 因利益纠缠不宜当 AI 评测仲裁者 — rao2z · 2026-09-14