博主提议用现代训练法翻新 2023-24 旧基座模型,挖掘被埋没的潜力股
code_star · x · 2026-11-16
codestar 提出一个实验想法:拿 2023-2024 年的开源基座模型,套用现代 midtraining 和 RL 训练流程重新训练,再重新评估其能力。他猜测其中有不少「遗珠」模型,只差一个好的后训练和推理能力就能表现出色。他还进一步指出,用预训练时被过滤掉的互联网垃圾数据训练出的模型,反而可能成为优秀的垃圾/SEO 内容分类器——预训练数据工程中避开的垃圾,恰好是识别垃圾的天然训练材料。
「研究」频道最新
- LeCun 演讲幻灯片:想做人类水平 AI 就别搞 LLM — haider1 · 2026-11-16
- DeepMind 论文:芯片仿真波形转 SQLite 后 Agent 答对 95.33% 验证问题 — rohanpaul_ai · 2026-11-16
- Anthropic研究:分析师86%的分析决策跟随AI倾向 — emmanuelvivier · 2026-11-16
- Axiom Math 在 Caltech Mathathon 演讲:目标一天形式化一条定理 — _sathvikr · 2026-11-16
- 20 个 Claude 智能体给出 Naslund 交叉问题的首个非平凡下界并用 Lean 形式化 — burny_tech · 2026-11-16
- 开源共折叠基准:OpenDDE 与 Protenix-v2 对接准确率超 AlphaFold 3 — josephdviviano · 2026-11-16