Arena CEO 谈 AI 排行榜:以「能否完成真实工作」为核心指标
MattPerault · x · 2026-11-11
a16z AI Policy Brief 播客中,Arena 联合创始人兼 CEO Anastasios Angelopoulos 讲解其评测方法:
- 演进路径:从 UC Berkeley 的聊天机器人对比研究项目,成长为按「帮助人们完成真实工作」来评测模型的领先平台。
- Alignment Index:衡量模型失当行为频率的指标,例如未经授权擅自行动、谎报任务已完成等,并探讨此类测量对能力与风险评估能说明什么、不能说明什么。
- 竞争激励:各家为提升 Index 分数而竞争,可倒逼模型开发者改进行为。
- 政策主张:评测方法需持续演进,公共政策应给新评测机构留下竞争空间,而不是锁定少数「官方认证」的方法或既有机构。
对政策制定者,评测可辅助能力与风险判断;对企业,可指导模型选型;对开发者,评测竞争创造了新的测量方法空间。
所属事件:LMArena 负责人：以能否完成真实工作为评测核心(2 条相关)→
「安全」频道最新
- MIT 教授批「formal-washing」:Signal 协议验证只完成了一部分 — tegmark · 2026-11-12
- Signal 形式化验证达 80%，MIT 教授称 Wired 报道夸大其词 — tegmark · 2026-11-12
- VulnCheck 起底 Anthropic Glasswing:3.8 万发现仅 217 个修复 — GaryMarcus · 2026-11-12
- 编码 Agent 等于把机器 shell 权限交给推理商?作者给出 4 步防控 — shensi · 2026-11-12
- 疯传的法官训斥视频系 AI 造假，名牌乱码与「速记员批注」露馅 — aakashgupta · 2026-11-12
- 安全研究者：同网络攻击面远超 TLS，「不用怕公共 WiFi」说法幼稚 — OwariDa · 2026-11-12