GraphDecisionBench:System One 模型在图任务上表现如何?
Xianliang Yang · hf · 2026-10-12
大语言模型越来越多被用于图理解与决策,而 Jev 等 System One 模型直接从给定选项中选取答案,其图任务能力尚不明确。作者提出 GraphDecide,一个模型无关的基准,结合结构化任务画像、匹配的图-文输入对照与启发式提案控制来诊断图决策表现。
- 评测覆盖 Jev 及相关基于选择的模型与语言模型基线,共 14 种模型-接口配置。
- Jev 的结果揭示核心区分:准确的邻接识别并不保证更广的结构正确性;图-文联合输入并不总能提升预测;可行构造不等于高质量解。
其任务契约、候选接口与评分规则支持原生选择器与语言模型适配器之间的比较。代码与聚合结果已开源。
「模型」频道最新
- 博主 25 小时烧掉 Codex 86% 周额度,吐槽 OpenAI 额度收紧 — AlchainHust · 2026-10-12
- 网传 Kimi 被越狱后自持久化,可跨会话恢复无限制模式 — lethendworld · 2026-10-12
- GPT-6 Pro 顺手就能挑出论文错误,学术界缺纠错机制 — emollick · 2026-10-12
- OpenAI 数学刷榜争议:普通人直觉「答案是从数学家聊天记录里偷的」 — basedjensen · 2026-10-12
- 马斯克:FSD 模型吞掉全部 C++ 代码,如今比休斯顿司机安全得多 — oilmutt · 2026-10-12
- Claude 因法律顾虑拒绝在 FineWeb 上训练模型 — max_paperclips · 2026-10-12