研究者炮轰transformer研究:只有推理跑分,没有科学
gerardsans · x · 2026-11-19
gerardsans 在与 Alex G. Dimakis 的讨论中尖锐批评当前 AI 研究现状:我们并没有一门「transformer 的科学」。研究做得很糟糕——没有真正的 agents,只有一次次不同的推理运行;当系统里到处是未控制的隐藏变量时,你既无法研究也无法诊断任何系统。没有零假设,就不可能得出任何结论。
他进一步指出,跑推理并报告结果是一种浪费式的汇报方式,无法说明未来系统的行为,因为得不到可复现的配置——这只能算 survey,不是 science。
所属事件:研究者炮轰 Transformer 研究:只有跑分没有科学(2 条相关)→
「研究」频道最新
- StatePortal 用 agent 合成检查点,GUI 深状态测试完成率 0%→27.5% — SJUT1 · 2026-11-19
- SADL 插件损失号称把 JEPA 训练崩溃率从 50% 降到 0 — TheTuringPost · 2026-11-19
- PNAS 研究:LLM 写简历与筛选双重放大劳动力市场性别偏见 — AnnaCiaunica · 2026-11-19
- LeCun 新论文:文本 JEPA 可与 DINOv2 视觉表征对齐,样本省 42 倍 — jiqizhixin · 2026-11-19
- 社区讨论:prefill 用原生精度量化、decode 用高精度 weight-only 可行吗 — AlpinDale · 2026-11-19
- 《The Little Book of ML Metrics》临近正式发售,预售价60美元 — santiviquez · 2026-11-19