从业者争论 fast weights:LoRA 存个性化记忆被判死路

HankYeomans · x · 2026-10-11

一条关于用 LoRA 实现个性化「fast weights」的尝试引发争论。@danveloper 表示不看好:2023 年几乎所有 AI 从业者都想过这个方案并迅速放弃,因为个性化事实的密度不足以对权重(包括 LoRA)产生实质影响,这正是 RAG 当初胜出的原因,而 markdown/wikilinks 与知识图谱才是当前主流;事实检索最适合靠上下文学习(ICL),LoRA 只适合习演化中的个性化偏好,这类「后台训练适配器再热插拔」的把戏是死路。回复者 HankYeomans 则以「以前试过不代表不行」反驳,维护继续尝试的价值。