LG-Bench 获 NeurIPS 2026 接收：用图结构揭示 LLM 生命科学知识盲区
geoffwolfe · x · 2026-10-28
上海 AI Lab 等机构的生命科学评测基准 LG-Bench 被 NeurIPS 2026 接收，论文与代码均已公开。
- 动机：传统基准把互联的科学知识压成扁平题列表，丢失知识拓扑结构，单一准确率分数看不出模型哪里薄弱
- 规模与构造：超过 10,000 道覆盖医学、生物、化学的高质量选择题；用双向匹配与语义相似度算法构建加权评测图，节点为题目、边权为语义关系
- 两个新指标：全局一致性分数 GCS 衡量模型在语义相关邻域内回答的一致性；知识均衡分数 KBS 分析错误在图上的分布，定位概念盲区
- 意义：把 LLM 评测从扁平准确率转向结构感知诊断，能更细粒度对比各模型的知识组织方式与缺陷簇
「研究」频道最新
- 模型从游戏画面精确还原减速度，作者称感知能力超人但仍是死胡同 — mike64_t · 2026-10-28
- 只动两个神经元,让 Qwen3-8B 说话像她: Steering 实验公开配方 — dejavucoder · 2026-10-28
- RobotAgentBench 发布：VLA 会操作≠能自主，任务发现是短板 — HennyJieCC · 2026-10-28
- AIFlow 发问:生成世界训练的机器人策略过真实测试,敢不敢上线 — AIFlow_ML · 2026-10-28
- 新论文:按梯度范数排序注意力头,稀疏 RL 微调媲美全量训练 — SimonShaoleiDu · 2026-10-28
- 学者称 arXiv 已难承担预印本职,未来或沦为论文分发平台 — mjuric · 2026-10-28