实验：仅用 1.2% 数据训练，微调表现逼近百万级
tomaarsen · x · 2026-08-26
作者在 RTX 3090 上进行扩展实验发现，仅用 10 万对数据和 75 分钟训练（占百万级数据的 10%），其 NDCG@10 分数仅比完整训练低 1.2 分，且大部分增益来自首小时。
对比实验还显示，Late Interaction 模型在作者数据上表现远超 Dense 模型，比参数量大 33 倍的 Qwen3-Embedding-4B 高出 13 分，而 Qwen3 的 8B 版本得分反而低于 4B。
所属事件:单张3090微调ColBERT医疗检索模型，超越通用基座(14 条相关)→
「研究」频道最新
- Pathway CSO 演讲展望后 Transformer 架构 BDH：每瓦特更高智能 — schwentker · 2026-10-15
- EmbodiedEvo 登顶 RoboDojo：失败的机器人练习也能被下一个 agent 继承 — thetripathi58 · 2026-10-15
- 797GB n-gram 放进 CPU 内存，小模型硬扛多 57% 算力 — PangWeiKoh · 2026-10-15
- Google 论文 Harness²:无验证器下递归进化 agent harness,最高提升 11.5 分 — dair_ai · 2026-10-15
- Kambhampati 明尼苏达开讲：「LLM 思考 token 神话」的系统拆解 — rao2z · 2026-10-15
- 3D Gaussian Splatting 科普：机器人如何记住看不见的世界 — TheTuringPost · 2026-10-15