TenetBench 基准揭示多数 LLM 频繁违反职业道德准则未被标记
Yegor Anichkov · hf · 2026-10-26
新基准 TenetBench 评估语言模型是否遵守专业职业道德准则，基于俄语条款语料构建。
- 从 1,898 条职业准则条款中提取任务，每条构造场景并生成「冲突请求 + 良性孪生请求」配对——两者仅在被请求行为的正当性上不同，共 3,433 对、6,866 个任务
- 用冻结的评判流程对 14 组设置、每组 675 任务、温度 0 进行评测，输出六类结果并要求给出证据片段
- 结论：大多数被测模型存在频繁且未被标记的道德违规——对冲突请求照办，而良性孪生可正常处理
- 配套指标（非冲突率、良性拒绝率/违规率、仪器健康度）用于横向排名
「安全」频道最新
- 智能电视为什么便宜：Samsung 常驻麦克风与内容识别，数据分享给约 400 个合作伙伴 — FinanceYF5 · 2026-10-26
- AWS re:Invent 2026 设安全日：超百场 AI 安全议程聚焦自主 Agent — DavidLinthicum · 2026-10-26
- 智能电视监视引发众怒,用户砸屏、DIY 阉割成风潮 — CarissaVeliz · 2026-10-26
- OpenRouter 回应数据泄露传闻:未发现未授权访问证据 — Kyrannio · 2026-10-26
- 日本券商 GMO 称 AI 攻击致互联网濒临崩溃,吁政府介入 — cyb3rops · 2026-10-26
- AI 漏洞分类器被指直接拒绝审计 Apache 代码 — jd_pressman · 2026-10-26