三周从零训一个 1B 模型：作者晒 15.9 天训练实录
arthurcolle · x · 2026-10-26
开发者 arthurcolle 表示「只要沉住气坚持三周，任何人都能训一个 1B 模型」，并晒出训练过程截图：项目 sys1-999m-v100k-run1 已跑 15940/30000 步（53.1%），已处理 2611.58M tokens，速度约 3773.4 tokens/秒，进程已持续运行 7 天 21 小时，预计还需约 7 天完成。整体传递的信息是：小模型预训练在个人可承受的时间与算力预算内是可行的，关键在于坚持执行计划。
「Infra」频道最新
- 印度视频团队算账：4090 工作站 vs AI 订阅，约 11 个月回本 — iamthecarguy1234 · 2026-10-26
- Cerebras CS-4 拆解图曝光：晶圆级封装带宽与功率翻倍、元件省一半 — jwt0625 · 2026-10-26
- theo 吐槽 Windows ARM:微软啃不动 20 年技术债 — wateriscoding · 2026-10-26
- TokenSpeed 三层三种语言:C++ 保正确、Rust 提性能、Python 粘合 — zhyncs42 · 2026-10-26
- 投机解码科普:猜错率 30% 也不改输出,一个减法保证答案不变 — anbarth · 2026-10-26
- TWIG 论文:权重即离散决策路径,统一压缩与电路化部署 — ITMO · 2026-10-26