bitsandbytes 作者预告新量化方法：GLM 5.3 单卡 DGX Spark 跑 7t/s
rerri · reddit · 2026-08-14
bitsandbytes 作者 Tim Dettmers 预告一种新的量化方法，声称可在单个 DGX Spark 上以 7 tokens/s 的速度运行 GLM 5.3。但发帖者提醒不要过度兴奋，因为此前有大量量化方案承诺很好但最终未能实现。不过 Tim Dettmers 是知名研究者，或许这次会有所突破。
「研究」频道最新
- 12章7500行逐行注释教程，从零手写现代 GPT — tom_doerr · 2026-10-16
- 约翰·纳什 1998 年「层级内省逻辑」手稿再引 AI 圈热议 — fkasummer · 2026-10-16
- OpenAI 前可解释性负责人：绝大多数神经元已可读，可解释性是最重要科学问题 — CatAstro_Piyush · 2026-10-16
- AI 安全研究者自嘲：技术安全话题几乎都能在几十年前统计学里找到影子 — _onionesque · 2026-10-16
- JevAgentHarness 论文：4B 小模型替 LLM 做 Agent 决策，更省更准 — youjiaxuan · 2026-10-16
- Google 团队用序列拍卖构建去中心化 LLM 多智能体工作流 — _onionesque · 2026-10-16