HyperNet 探索向大模型注入事实知识
HyperNet 提出了一种向大语言模型注入事实知识的新方法,即将自然语言事实转化为 LoRA 权重,再注入到完全冻结的目标大模型中,无需直接微调。相关论文进一步将超网络作为训练阶段注入事实的手段,并揭示了该方法在大规模场景下呈现出的幂律缩放规律。
2026-07-23 ~ 2026-07-24 · 2 条相关
- 超网络在 LLM 事实知识注入上呈现幂律缩放 — Nischay Dhankhar · 2026-07-23
- HyperNet 用 LoRA 权重把事实注入冻结大模型 — rohanpaul_ai · 2026-07-24