仅两位作者的模型技术报告被赞信息量爆炸：预训练到下游全覆盖

antoine_chaffin · x · 2026-09-03

NVIDIA 研究员 Antoine Chaffin 推荐一份仅由两位作者（Tony Wu、Aurélien Lucchi 等）完成的技术报告，称其工作量和细节令人惊叹。

报告覆盖预训练配置、效率设计、下游任务等多个主题；其中关于检索的部分以及围绕 LI（长上下文/检索）设置的大量探索——multi-head dense/LI、pooling、量化、kernel 等——本身就非常密集。他建议所有对相关主题感兴趣的人都值得一读，并希望配套模型能像报告一样对社区有用。