开发者讨论 1bit 模型的 LoRA 支持与自定义 kernels

cephaloform · x · 2026-07-21

原帖称作者已经为这类工作准备了一套很强的 kernels,因此对进展很兴奋。

回复里提到想给 1bit 模型做 LoRA,但用 Prism 的方案一时还不明显怎么实现;不过作者表示自己的代码应当可以比较顺畅地支持。这条核心信息是:低比特模型微调与底层 kernel 实现的实际可行性。

所属事件:开发者探索 1bit 模型的多阶段蒸馏与 LoRA 适配(3 条相关)→

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →