博主发文质疑：SWE-bench Multimodal v2 根本不算多模态
dejavucoder · x · 2026-10-21
作者 dejavucoder 发布博文《SWE-bench Multimodal v2 is not multimodal》,指出该多模态版 SWE-bench 基准实际上并不具备真正的多模态属性,并呼吁关注 LLM 评测、benchmark 与高质量数据圈子的人认真审视这一问题。帖子感谢了 @xeophon、@omouamoua 的协助以及 Prime Intellect 提供的基础设施与算力支持。这是对主流编码评测基准有效性的公开质疑,值得评测研究者关注原文论证细节。
所属事件:实测质疑：SWE-bench Multimodal v2 并非真正多模态(5 条相关)→
「研究」频道最新
- Cohere 工程副总裁 PyTorchCon 演讲:开放科学如何支撑可信基础模型 — PyTorch · 2026-10-22
- 四个 Gemini 智能体 27 小时通关《我的世界》恶龙，死亡 605 次才是重点 — krishnan · 2026-10-22
- Ropedia W0：从 1 万小时人类第一视角视频学会跨本体操作的世界模型 — _akhaliq · 2026-10-22
- 斯坦福讲座聚焦肿瘤 AI，主讲人系 Nature 自主医疗智能体论文资深作者 — jonc101x · 2026-10-22
- 多伦多大学团队提出 AREa:自适应感受野注意力解锁高分辨率图像生成 — CSProfKGD · 2026-10-22
- WIRED 实测 Recursive Flint:递归自我改进造出的模型「吓人地好」 — cong_ml · 2026-10-22