从零手写 LoRA:两块小矩阵如何替代百万参数更新
dima806_dima · x · 2026-11-03
作者 Dima Yakubovskyi 发布 7 分钟教程《LoRA From Scratch》,通过实验演示 LoRA 原理:在一个小网络中隐藏一个已知大小的权重变化,然后观察一对低秩细矩阵如何在其余模型参数完全冻结的情况下恢复出全部变化。以动手实验方式讲清「两个小矩阵替代大规模权重更新」的核心直觉,适合想理解微调底层机制的读者。
「研究」频道最新
- Qwen 在 Astra 上的提升并非权重内省，而是智能体工程循环 — petrusenko_max · 2026-11-03
- Nature:果蝇连接体仿真找到控制行走的三神经元节律电路 — patrickmineault · 2026-11-03
- 研究者泼冷水：模型改权重很酷，但离真正的自我改进还很远 — paul_cal · 2026-11-03
- D&A 方法让 VLM 零样本充当机器人奖励模型，三榜 SOTA — DJiafei · 2026-11-03
- CT-Perturb：仅测 10% 细胞指标即达全数据 82% 预测效果 — david_van_dijk · 2026-11-03
- 斯坦福学者 ChrKroer 新书《Games, Markets, and Online Learning》纸质出版,附免费 PDF — bremen79 · 2026-11-03