前 OpenAI 研究员：劣质预训练栈催生 Transformer 后层无用论

前 OpenAI 研究员 @aidanclark 举出具体案例反驳「Transformer 后面几层基本无用」的流行结论，指出该结论在良好的预训练技术栈上根本不成立，说明低质量预训练栈会催生「深层无用」这类错误研究结论。他还调侃那些高呼「一切都解决了」的说法，提醒可解释性研究需谨慎对待此类结论。

2026-10-16 ~ 2026-10-16 · 2 条相关

• 前 OpenAI 研究员：低质量预训练栈催生「深层无用」错误结论 — _aidan_clark_ · 2026-10-16
• 研究者反驳「Transformer 后层无用」：好预训练栈上并不成立 — _aidan_clark_ · 2026-10-16