博主提议用现代训练法翻新 2023-24 旧基座模型,挖掘被埋没的潜力股

code_star · x · 2026-11-16

codestar 提出一个实验想法:拿 2023-2024 年的开源基座模型,套用现代 midtraining 和 RL 训练流程重新训练,再重新评估其能力。他猜测其中有不少「遗珠」模型,只差一个好的后训练和推理能力就能表现出色。他还进一步指出,用预训练时被过滤掉的互联网垃圾数据训练出的模型,反而可能成为优秀的垃圾/SEO 内容分类器——预训练数据工程中避开的垃圾,恰好是识别垃圾的天然训练材料。

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →