研究实证 text-to-LoRA 可行：从单条输入预测 LoRA 分布做推理扩展

akyurekekin · x · 2026-10-10

研究者 Ramon Astudillo 分享团队新成果：他原本不相信 text-to-LoRA 有效，实测后发现确实可行。更进一步，他们证明可以仅凭模型输入预测出整个 LoRA 分布，并通过在不同权重间采样来实现推理扩展。

原始帖（引用 @azalakhan）提出核心问题：能否通过采样不同的模型权重而非更多 token 来扩展 LLM 推理？研究显示单条查询即可生成有用的 LoRA 更新，且对权重分布的预测是让 hypernet 真正起效的关键。