独立研究者新优化器：24GB 显存可训 27B 模型，权重仅需 1.6bit
oguzeldereli · reddit · 2026-11-11
一位独立 AI 研究者发布 TTF（two-timescale threshold flips） 训练方法与代码：无需 AdamW 那样的每权重约 16 字节优化器状态，将训练内存压到每权重 1 字节甚至更低，专注三元 {-1,0,1} 网络（BitNet 已证明大规模下三元可匹敌全精度，但训练时仍需保留全精度权重）。
- 单张 24GB 的 RTX 3090 可训练 27B 模型，16GB 显存可训 23B；训后约 1.6 bits/权重（27B 约 6GB），比 16bit 小 10 倍、比 Q8 小 5 倍；
- 已转换并继续训练的 Qwen3.8 27B：GSM8K 0.895 与全精度持平，HumanEval 0.84（全精度 0.93），12GB GPU 上约 23 tok/s（可用自定义内核优化）；
- 转换版 Qwen Flash Next 压到 40.4GB（含 8GB n-gram 表），基准持平但会忘事实，配 web search 可用；
- 局限：偶尔循环、事实记忆差，但与 unsloth GGUF 不同，可以继续训练——修循环、灌事实、做领域专精；
- 代码非商业开源，附论文与多个 repo（ttf-ternary / ttf-conversion / ttf-home）及 Hugging Face GGUF。
「Infra」频道最新
- 三年造 CPU、内存与脉冲网络：一位芯片爱好者的加速器之路 — k7agar · 2026-11-11
- CoreWeave：2027年13万张GPU到期续约可年增收近40亿美元 — zephyr_z9 · 2026-11-11
- Mark 感叹 George Hotz 当年对 Nvidia 局势的预言成真 — mark_k · 2026-11-11
- 亚马逊 Prime 360 用 AI 实时重建 NBA 比赛 3D 画面，可任意视角回放 — import_jmr · 2026-11-11
- Altman 首度明言:OpenAI 中长期要取代 Nvidia — zephyr_z9 · 2026-11-11
- 报道:中国高校在美国禁令下仍购入英伟达 H200 芯片 — pstAsiatech · 2026-11-11