几块 GPU 从零训出 GPT-6.1 级重排器,Jimmy Lin 团队开源全流程
lintool · x · 2026-10-20
Jimmy Lin( lintool)团队 speedrun 了 Karpathy 的 nanochat:用 shizhediao 等的 ClimbMix 数据从零预训练,再用 beirmug/crystinaz 提供的相关性数据做 SFT,得到一个有竞争力的 pointwise 重排器(reranker)。
效果上大约相当于对 Qwen、Gemma 等做 SFT 的水平,仅略逊于 listwise 方式的 GPT-6.1 Sol——而这一切只用「handful of GPUs」完成。
所属事件:滑铁卢 Jimmy Lin 团队开源 nanochat 骨干与重排器全流程(2 条相关)→
「研究」频道最新
- SKY-001 号称首个工程世界模型:CAD/BIM 任务比 GPT-6 快 51-125 倍 — vasuman · 2026-10-20
- 完全在打包空间运算:1 万窗口 shuffle 从 7.86s/8.7GB 降至 0.85s/0.7GB — jmschreiber91 · 2026-10-20
- 为加速 DeepLIFT/SHAP,作者重写双核苷酸 shuffle 避免内存爆炸 — jmschreiber91 · 2026-10-20
- UCSB REAL AI 实验室招博士后：建 AI 自主实验室，可看海 — ninamiolane · 2026-10-20
- UCSB 团队获 NSF 百万美元资助，研究 AI 的数学基础 — ninamiolane · 2026-10-20
- uint8 打包 4 个碱基位点的内存压缩技巧：DNA 序列编码再省 4 倍 — jmschreiber91 · 2026-10-20