免后训练从源权重提炼专家知识,CPU 本地过夜即可训练
dejavucoder · x · 2026-10-14
tokenbender 展示一项技术:不经过任何后训练,仅靠在整个模型上精细搜索与学习模式,就能从源权重中提取出专业知识,生成一个「专家模型」。作者称该过程可在 CPU 上本地运行,「你睡觉时它就在成长」,并可随使用者的引导持续进化。帖子附链接但正文未给出方法细节与量化结果,信息量有限,值得关注的点在于「免训练、纯权重搜索、CPU 可跑」这一组合。
「研究」频道最新
- 港中深团队发布 UNITAS:首个 3D 原生世界动作模型,1.7B 参数 — CUHKSZ · 2026-10-14
- 联合训练多表示全面增益，BGE-m3 与 NeoMME 实证 — antoine_chaffin · 2026-10-14
- 用 slop-search 冲击线性时间乘法,多智能体研究再刷 kappa 纪录 — iskander · 2026-10-14
- 新论文用价值表征预测对齐泛化，构建首个基于泛化动态的 LLM 价值分类学 — VeredShwartz · 2026-10-14
- 「双向 RL」思路：按任务压缩模型、构建极薄的超专精小模型 — tokenbender · 2026-10-14
- 自建 harness 威力：GLM-5.3-Flash 精确匹配从 4.4% 飙至 61.1% — omarsar0 · 2026-10-14