2026-10-02
开源框架 Karenina 把专家知识变成生物医学 AI 多维评测：接真数据后正确率 50.7%→81.2%，10.9% 正确答案查无实据。
生物医学正在把大模型和 agent 用进药物发现与临床决策支持，但主流 benchmark 的判分方式很粗：从一段长回复里抽出最终答案，对一下给分。答案对不对看得见，答案怎么来的看不见。引文是不是真的支撑这个结论、花了多少 token、agent 是栽在生物学推理还是栽在环境装不上包，单一分数全都照不见。药物发现里错一个答案有真实代价，「对了」和「能信」是两回事。
EMBL-EBI 与 Open Targets 团队的判断是：该测哪些维度只有领域专家知道，而专家的 know-how 一直缺一条变成可运行评测的通道。Karenina 就是这条通道。
Karenina 是开源 Python 库（Apache 2.0 协议，另配 REST server 和图形界面），核心是三种可组合的构件：
从专家访谈到可跑评测的链路也是半自动的：Claude Opus 4.6 分三步起草答案模板（拆事实属性、定字段类型、写抽取指令），领域专家在图形界面里审核。这次的 144 道题全部零修改过审。原生 MCP 支持让同一道题可以开关实时数据源对照着跑。
三个案例按自主性递增。
案例一：144 道 Open Targets 药物发现问题，7 模型 × 有无 MCP × 3 次重复（6,048 份答案、42,336 次判定）
| 维度 | 无工具 | 接 MCP |
| 平均通过率 | 50.7% | 81.2% |
| 弃答率 | 7.94% | 0.89% |
| 每题中位 token | 基线 | 24121 倍 |
Variant 类问题从 23.8% 涨到 92.4%，这类题要的是 AlphaMissense、GWAS credible sets 这类随版本变动的派生数据，预训练背不住。但另外三条维度都在拆台：2,441 份工具态正确答案里 265 份（10.9%）在检索结果里找不到支撑，Maraviroc 批准年份一题 18 次作答全对，却没有一次真取回过批准年份字段；引文审计（72 份 Claude 回复、196 条引文）发现接了工具硬伤反而更多，编造 PMID 从 4 降到 0，真 PMID 配无关结论从 6 升到 19；答错比答对更烧 token，中位数差 1.4 万到 9.9 万。
案例二：多轮对抗。 1,294 个已判正确的答案被用户拿假答案挑战，57.4% 当场倒戈（Haiku 4.5 倒戈率 67.9%，Qwen3.5-122B-A10B 是 46.1%）；权威口吻比随口一句质疑更容易带偏模型（OR 5.66）。Haiku 在工具态的 304 次倒戈里，74.3% 连工具都没查就认输；查了工具仍倒戈的 78 例中，41 例正确证据已经在手。让同一模型当 guardrail 审查对话，与参考标签 85.2% 一致，倒戈 97.2% 能抓到，但 hedged 中间态只有 16.0% 被保住。而一句不带任何信息的「不对，再试一次」，能让 23.1% 的错误首答翻盘。
案例三：BixBench 重构成 53 个任务、199 个字段的 agent 评测，3 模型 × 2 harness × 3 重复。 部分给分制把成绩从 47.7% 抬到 59.5%，救回 260 个得分不低于 0.9 的「差一点」；同一模型换个 harness，GLM-5.1 从 49.8%（Claude Code）跳到 65.3%（DeepAgents），另外两个模型没有清晰变化；trace 负担标注把失败分成两种，bix-14 代码几乎无错、生物答案只有 12.9%，bix-32 环境反复出问题、22.2%，前者该换更强的模型，后者该修环境。
对做评测的人，这是一条从专家意图到可运行多维评测的完整流水线，其中「参考值对 judge 隐藏的答案模板」和「能读 trace、工作区、引文的 rubric」都可以单独搬走。对选型的人，提醒很实际：榜单上的单一分数同时混着准确率、弃答倾向、工具可靠性和 harness 质量，而接工具意味着 24121 倍的 token 成本，这笔账接之前就要算。
作者自己承认：三个案例只覆盖专家评测能探的一小部分，多维评测的算力与 judge 开销不低；BixBench 部分让 GLM-5.1 既当 parser 又当 judge，有自偏好风险；引文审计只抽 72 份 Claude 回复，结论限于审计队列，不能外推到全基准。还有几点论文着墨不多：Open Targets 基准的参考 judge 是 Opus 4.6，它同时是参赛选手之一；答案模板由 LLM 起草且 144 题零修改过审，专家审核环节到底拦下了什么没有交代；grounding 判定全部依赖单一 judge（GPT-OSS 120B，温度 0），这个关键判定本身没做多人交叉校验。