从零写 CUDA 引擎:3-6 台 DGX Spark 跑满 GLM-5.3,并提取转向向量控制输出语言
burny_tech · x · 2026-11-01
转发 mmastrac 关于 steering vectors(转向向量)的长文,配套开源了 gr8 项目——一个从零编写的 CUDA 推理引擎,可在 3-6 台 DGX Spark (GB10) 上运行完整 GLM-5.3(MoE 256 专家、MLA 注意力),MIT 协议。
关于转向向量的要点:
- 不只用于 abliteration(移除拒绝),而是在模型激活空间的高维向量上做定向调整,类似脑外科手术式探测。
- 可提取多种功能的向量:作者从 GLM-5.3 提取了英→中、中→英转向向量,开启后无论问题是什么语言,模型都会用对应语言回答。
- 所有示例均为 GLM-5.3 真实运行结果,项目已在 GitHub 开源(47 stars)。
「Infra」频道最新
- Reddit 实测:AMD EPYC+多卡 3090 跑 Qwen Q8 达 94 tok/s,8 路并发近线性扩展 — sleight42 · 2026-11-01
- 内存 18 个月涨 7 倍至 429 美元，Altman 称「看不见的手正在失灵」 — aakashgupta · 2026-11-01
- 马斯克暗示数据中心提前建成,xAI 2026 年底或达 1000 亿美元 ARR — mitchdeg · 2026-11-01
- 3B 模型训练时渐进复制中层，GSM8K 19% 胜 12% 且省 26% 算力 — burny_tech · 2026-11-01
- 深入解读 NVIDIA 指令调度模型:静态延迟与 scoreboard 的博弈 — mike64_t · 2026-11-01
- $1100 收 24GB RTX 3090,装无头服务器跑本地模型求配置建议 — NighthawkXL · 2026-11-01