实测:AI agent 能复现大部分已发表研究,系数符号正确率约九成
RexDouglass · x · 2026-10-24
转发 ellliottt 的研究结论:让 agent 尝试复现已发表的实证研究发现,结果显示约 80–90% 的情况下系数符号判断正确,超过 70% 的结果落在原文 95% 置信区间内(最好的模型超过 80%)。作者认为这是朝自动化可复现性迈出的实质性进展。
「研究」频道最新
- Domingos 一句话总结:注意力头就是一个快速权重 MLP — pmddomingos · 2026-10-24
- 研究者:推理算力大规模并行部署后,LLM 行为研究将日趋像社会科学 — rosstaylor90 · 2026-10-24
- Ross Taylor 谈 RLCR:简单方法背后是大量必须做对的细节 — rosstaylor90 · 2026-10-24
- 商汤实测 GPT-6-Astra 具身智能,开源 27B 模型成本仅 1/50 — rohanpaul_ai · 2026-10-24
- Cohere Labs 携 5 篇主会论文亮相 EMNLP 2026 布达佩斯 — Cohere_Labs · 2026-10-24
- 实测梯度裁剪:5 次不裁剪全在 17 步内发散,裁剪后全部收敛 — cneuralnetwork · 2026-10-24