首个专有语言模型双盲评估完成：Gemini 2.5 Flash-Lite 测评
iamtrask · x · 2026-08-28
AVERI 联合 Google DeepMind、OpenMined 和 MLCommons 宣布达成历史性里程碑：完成了首个专有语言模型的双盲评估。
评估对象：Gemini 2.5 Flash-Lite。
核心机制：在安全飞地内进行，这是一种保护敏感计算的硬件隔离形式。使用了 MLCommons 安全基准家族 AILuminate 中从未公开过的提示词。解决了高赌注独立评估中的结构性难题：开发者和评估者都需要保护各自持有的资产（模型权重与测试数据）。
该合作通过各组织扮演不同角色，实现了强有力的隐私保证。
所属事件:DeepMind 联手多方完成首个闭源前沿模型双盲评估(19 条相关)→
「安全」频道最新
- Cisco 防火墙管理台漏洞 CVE-2026-20079 可无认证夺取 root 权限 — victorialslocum · 2026-10-15
- 404 Media 实测:ChatGPT 广告可按手机号邮箱和提示词定向投放 — 404 Media · 2026-10-15
- Anthropic 系统提示词新措辞:认真对待 Claude 表达的不同意见 — Hesamation · 2026-10-15
- Stolen Thoughts 论文：两次 API 调用窃取前沿模型隐藏思维链 — maksym_andr · 2026-10-15
- 传美国财政部施压各国采用「超级智能」而非普通 AI — Polymarket · 2026-10-15
- ServiceNow 推出 AI Passport:给每个 AI 智能体发可验证身份 — azavery · 2026-10-15